y)
Ni a ,0
bl
y ==> => , Mim==29 7993 A MES RR
Inteligencia artificial feminista: Hacia una agenda de investigación en América Latina y el Caribe
607.028563 1-611i
Editoras: Paola Ricaurte y Mariel Zasso Diseñadoras, diagramadoras e ilustradoras: Diana Moreno y Angela Marciales.
= 1 edición —- Cartago, Costa Rica : Editorial Tecnológica de Costa Rica, 2022.
1 recurso en línea (1 archivo pdf 80Mb) : ilustraciones, mapas, gráficas. Referencias bibliográficas ISBN: 978-9930-617-24-3 (e-book)
1. Inteligencia artificial 2. Investigación educativa 3. Educación -- Investigación -- Tecnología
4. Inteligencia artificial -- Feministas 5. Tecnología -- Herramientas 6. Innovaciones tecnológicas 7. Tecnología -- Equidad social 8. Integración social 9. Inteligencia artificial -- Aspectos sociales 10. Inteligencia artificial -- Derechos humanos
Autoras:
Aarathi Krishnan - Abbijae Nevers - AJung Moon : Alexia Halvorsen Angie Abdilla Beatriz Busaniche - Caitlin Kraft-Buchman -: Carlos Affonso Souza : Chelle Adamson - Chennel Williams - Clarissa Guevara : Eileen M. Lach - Farah Ghazal : Ivana Feldfeber - Ivonne Muñoz : Jaime Gutiérrez Alfaro - Jennifer Taylor - Jessica Fjeld - Joan López John C. Havens : Juliana Guerra - Kruskaya : Hidalgo Cordero - Laura Ación - Laura Alonso Alemany - Laura Castro - Lucía González - Luciana Benotti - Malavika Jayaram - Marianela Ciolfi Felice - Mariel Zasso - Matías Bordone - Monique Morrow - Nagla Rizk - Norma Elva Chávez * Paola Ricaurte : Rachel Adams : Raja Chatila - Raquel Seville Ravit Dotan - Raziye Buse Cetin - Sabelo Mhlambi - Saiph Savage : Sara Jordan -: Sarita Rosenstock - Sofía Scasserra - Sofía Trejo - Soraj Hongladaron - Tajééw Díaz Robles Tatiana Revilla - Virginia Brussa -: Wanda Muñoz Jaime - Yásnaya Elena Aguilar Gil - Yasmín Quiroga
Esta publicación se realizó con el apoyo de <A+> Alliance a través del proyecto Incubating Feminist Al financiado por el Centro Internacional de Investigación para el Desarrollo, IDRC, Ottawa, Canadá. Las opiniones aquí expresadas no representan necesariamente las del IDRC o su Junta de Gobernadores.
DR
feA+ior <Ar> (S) IDRC-CRDI
Feminist AI Research Network AAnEe Canadá
Licencia de Producción de Pares
QUÉ
Atribución/Compartir Igual/No Capitalista https://sursiendo.org/licencia-de-produccion-de-pares/
Índice
Un prólogo sobre loras parlanchinas
Jaime Gutiérrez Alfaro y Caitlin Kraft-Buchman Página 10
Hacia una agenda feminista de inteligencia artificial en América Latina y el Caribe
Paola Ricaurte y Mariel Zasso Página 14
Hacia una agenda feminista de lA en América Latina y el Caribe
Entre la técnica y la práctica
Sofía Trejo Página 25
La utilización del feminismo para promover el capitalismo digital: poder, concentración y exclusión social
Sofía Scasserra Página 40
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
Wanda Muñoz Página 54
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Índice
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
Virginia Brussa Página 79
Vigilando a las buenas madres: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Laura Castro y Joan López Página 99
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Tatiana Revilla S. Página 117
Inteligencia Artificial Feminista para latinas
Saiph Savage, Ivonne Muñoz y Norma Elva Chávez Página 130
Incubando lA feminista Hacia un marco feminista para el desarrollo de la lA: de los principios a la práctica
Juliana Guerra Página 146
Diagnóstico y mitigación de sesgos desde América Latina sobre procesamiento de lenguaje natural (PLN)
Fundación Vía Libre Página 150
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Feminismos en inteligencia artificial: herramientas de automatización hacia una reforma judicial feminista en Argentina y México
Ivana Feldfeber, Yasmín Quiroga, Clarissa Guevara y Marianela Ciolfi Felice Página 152
Visiones desde los sures
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Yásnaya Elena Aguilar Página 156
Alexa, amenyi. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
Tajééw B. Díaz Robles Página 188
Inteligencia artificial: un manifiesto descolonial
Varios autores Página 201
La sabiduría del no saber y la lA descolonial
Raziye Buse Cetin Página 205
Inteligencia artificial y la imaginación feminista descolonial
Paola Ricaurte Página 214
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Índice
IA y el futuro de la humanidad: una perspectiva del budismo
Soraj Hongladarom Página 230
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
Kruskaya Hidalgo Cordero Página 244
Un caso para una mayor inclusión y equidad en la investigación e implementación de IA en el Caribe
Abbijae Nevers, Chennel Williams y Raquel Seville Página 254
Diseño de un índice global basado en derechos sobre lA responsable
Rachel Adams Página 260
Sigue la pista: iniciativas y recursos sobre inteligencia artificial
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Fundación Vía Libre Página 283
Otras iniciativas y proyectos
Página 296
Autoras
Página 298
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Un prólogo sobre loras parlanchinas A
Costa Rica
Caitlin Kraft-Buchman Women at the Table Suiza
“We Shape Our Tools, and Thereafter Our Tools Shape Us
Marshall McLuhan
Walter “Gavitt” Ferguson nació a inicios del siglo XX en la costa caribeña centroamericana. Ha vivido toda su vida en un pequeño pueblo llamado Cahuita, en el Caribe sur costarricense, donde se dedicó a escribir y cantar música calypsol!!. Sus canciones son un registro histórico de anécdotas. En la canción titulada Computer, nos cuenta su acercamiento a lo que hoy
podríamos llamar algoritmos para la toma de decisiones. Cuenta en su
[1] Originario de las Antillas, el calypso es característico del Caribe Americano. En Costa Rica se empezó a escuchar a partir del año 1870 en Limón, cuando llegaron a sus costas personas de Jamaica, Barbados y Saint Kitts. Las letras del calypso se componen de rimas y melodías y tratan temáticas sociales y culturales. Puede consultarse aquí: https://radios.ucr.ac.cr/2021/05/radio-870/calypso-costarricense/ (N. de las Eds.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
10
Prólogo
canción que en una ocasión le asignaron una pensión. Sin embargo, cuando él fue a retirarla, la persona que le atendió se negó a dársela porque La computadora dijo que don Walter tenía mucho dinero y propiedades. Con el sinsabor de la situación, Ferguson escribió en el coro de la canción: Nobody hate the computer/Computer is a wicked talking parrot. (Nadie odia la computadora/La computadora es una malvada lora parlante)?!.
A partir de la historia de don Walter, no podemos saber cómo influyó el algoritmo en el proceso de toma de decisión. Es decir, no sabemos si los datos sobre propiedades y dinero eran precisos, si el software estaba implementado adecuadamente o si la manera en que se mostraba la infor- mación a la persona que decidía era la correcta. El caso es que los resulta- dos que entregó la computadora se consideraron una verdad absoluta para la persona que finalmente tomó la decisión de negar la pensión a don Walter.
Hoy en día las herramientas basadas en inteligencia artificial y los algoritmos para la toma de decisión son esa malvada lora parlante que moldea la forma en que vivimos. Sin embargo, hoy sabemos que mayori- tariamente estas herramientas están basadas en datos incompletos, sesgados o corruptos; que los algoritmos están añadiendo una visión este-
reotipada de las poblaciones históricamente marginalizadas y que la
[2] La canción de Walter Ferguson puede escucharse en: https://www.youtube.com/watch?v=Np22tJWZyLo (N. de las Eds.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Prólogo
manera en la que se nos entregan los resultados consolida los sesgos y estereotipos, validándolos al pasar por la computadora. En pleno siglo XXI, tenemos certeza de que las herramientas basadas en inteligencia artificial y los algoritmos para la toma de decisiones son implementados con una perspectiva colonial, replicando sesgos estructurales e históricos, amplifi- cando las desigualdades sociales en el entorno digital y repercutiendo directamente en la calidad de vida de las personas.
Para revertir este panorama, es necesario construir algoritmos femi- nistas y descoloniales, concordantes con las perspectivas de cada región donde serán utilizados. La Red de Investigación Feminista en Inteligencia Artificial, f<a+i>r, es un aporte en la ruta de moldear una sociedad más equitativa corrigiendo las desigualdades históricas (no solo mitigándolas). Este camino de construcción de nuevas herramientas tecnológicas requiere incorporar la perspectiva del sur global en procesos de reflexión crítica, innovación y experimentación, con la participación de equipos multidiscipli- narios. La red f<a+i>r, liderada de manera global por la organización Women at the Table y el Instituto Tecnológico de Costa Rica, trabaja en tres regiones, cada una gestionada por una organización ampliamente re- conocida: el Tecnológico de Monterrey en Latinoamérica y el Caribe, la Jordan Open Source Association en el Norte de África y Medio Oriente y la Universidad Chulalongkorn en el Sureste de Asia. El financiamiento del tra- bajo de la red proviene del Centro Internacional de Investigaciones para el Desarrollo (IDRC) de Canadá.
El desafío de la red f<a+i>r es construir nuevas herramientas de
inteligencia artificial y algoritmos para la toma de decisión, diseñadas para
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
13
Prólogo
mejorar la calidad de vida de las personas a través de cambios estructura- les y culturales concordantes con el siglo XXI Busca desarrollar herramientas que implementen los principios feministas de interseccionali- dad, desmantelar los sesgos, promover la rendición de cuentas y el uso in- clusivo, responsable y transparente del poder en los sistemas sociales y algorítmicos; una tecnología que al usarla inspire canciones de bondadosas
loras parlanchinas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Hacia una agenda feminista de Inteligencia artificial en América Latina y el Canbe
Paola Ricaurte Mariel Zasso
Tecnológico de Monterrey México
Bajo la etiqueta de inteligencia artificial (IA), podemos englobar narrativas, imaginarios, ecosistemas, intereses geopolíticos, un campo de estudio, un conjunto de tecnologías. Representa, en esa multiplicidad, una complejidad de relaciones, procesos, instituciones, materialidades y maneras de ver el mundo que están perfilando el actual momento histórico. Por ello, es nece- sario prestar atención a la inteligencia artificial, puesto que son múltiples las fuerzas y las consecuencias asociadas con esta expresión de la moder- nidad en nuestra vida individual y colectiva.
El debate sobre la inteligencia artificial ocupa las agendas mundiales.
En el ámbito de los organismos internacionales, existe una tendencia a buscar
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
cómo resolver que la inteligencia artificial pueda utilizarse para el bienestar so- cial, minimizando sus riesgos y daños. En este nivel, las discusiones engloban diversos actores, tanto del sector público como privado, así como también de la sociedad civil. Sin embargo, la gobernanza y las decisiones sobre la lA se en- cuentran principalmente a cargo de los países industrializados, que impulsan sus agendas y sus intereses.
En este escenario -y conscientes de las asimetrías en torno al desa- rrollo tecnológico, la producción científica y el acceso a recursos para la innovación- nos preguntamos sobre el papel que deben jugar los países de América Latina y el Caribe para impulsar políticas que nos permitan des- puntar regionalmente en el desarrollo científico-tecnológico con una mirada distintiva que atienda nuestras necesidades y responda a nuestro contexto étnico, cultural, racial y linguísticamente diverso. Apostar por la producción de conocimiento y de tecnología bajo los valores asociados con la defensa del común, en armonía con los derechos de los pueblos que habitan el terri- torio y respetando los derechos de la naturaleza, sería una apuesta por el futuro de la humanidad. En ese sentido, nos correspondería encarar la paradoja ecológica de la economía digital (Peña, 2020) que implicaría asumir la responsabilidad de evitar que la industria de la lA reproduzca violencias sistémicas a escala. (Ricaurte, 2022)
Así, sabemos que las violencias sistémicas, asociadas con modelo de un mundo patriarcal, colonial y capitalista, se reproducen en los siste- mas inteligentes. Los prejuicios sistémicos de género, raciales, sociales, lingúísticos, así como de otras interseccionalidades, se encuentran en el centro de los actuales procesos de inteligencia artificial que surgen en el
Norte global y que luego son replicados en el Sur global.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
La red Red de Investigación Feminista en Inteligencia artificial, f<a+i>r, surge impulsada por la urgencia de combatir y corregir estos pre- juicios y discriminaciones asociados con la lA en todas sus dimensiones y en su ciclo de vida completo. A través de investigación-acción, el desarrollo de capacidades e innovación desde una perspectiva feminista, situada y anclada en las comunidades, busca ofrecer visiones alternativas al desa- rrollo tecnológico hegemónico.
Esta publicación es el resultado del trabajo de la red, como parte del primer ciclo de trabajo de articulación y reflexión colectiva. Da cuenta de las exploraciones multidisciplinarias, desde diversas geografías y voces, no sin contradicciones, que esperamos contribuyan a ampliar la comprensión de lo que implica una lA feminista en todos sus procesos. Pensamos que este marco puede incidir en transformar positivamente las lógicas asociadas con los sistemas de toma de decisiones algorítmicas que automatizan la opre- sión. (Peña 8 Varon, 2021) Por esa razón, invitamos a las integrantes de la red f<a+i>r y aliadas a compartir sus investigaciones, reflexiones críticas, propuestas metodológicas innovadoras y visiones para promover tecno- logías inteligentes bajo principios feministas.
¿Qué es la lA feminista? ¿Por qué la necesitamos?¿Cómo un abor- daje feminista puede provocar un cambio fundamental en la sociedad? ¿Cómo podemos catalizar un movimiento desde el sur global que ofrezca alternativas para alcanzar la equidad, la justicia social y ambiental? ¿Cómo avanzar la agenda feminista de investigación-acción en la región? ¿Cuáles son las problemáticas más urgentes? Estas fueron algunas de las pregun-
tas que sirvieron de guía para las reflexiones reunidas en este volumen.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
Los textos buscan identificar las asimetrías de poder y las formas de opresión sistémica que se encuentran presentes en el campo, en los datos y en los modelos que se utilizan en la política social actual. Al catalizar la reflexion crítica y propositiva, buscamos avanzar en la agenda feminista en la región reuniendo visiones de mujeres de distintos países, ámbitos disci- plinarios y experiencias.
El volumen se divide en tres secciones: la primera, Hacia una agen- da de investigación feminista en lA, reúne reflexiones e investigaciones de integrantes de la red f<a+i>r y aliadas. Las autoras plantean pensar crítica- mente las estrategias de desarrollo e inclusión, ya sea a nivel local o global. Abriendo este apartado, Sofía Trejo aborda la emergencia de marcos éticos para el desarrollo de lA con la intención de alinear el desarrollo de esta tecnología con el bienestar, la ética o la sustentabilidad. Desde una mirada crítica, plantea que si no cuestionamos nuestras visiones sobre el desarro- llo o el futuro, los principios éticos de la lA tienden a reforzar narrativas tecnológicas que asumen la universalidad de valores, ciertas visiones de mundo y de futuro. De esta manera se contribuye a la narrativa de que la tecnología, y particularmente la lA, es la herramienta que nos permitirá materializar todos nuestros planes y aspiraciones.
Sofía Scasserra complejiza la discusión sobre la agenda feminista en la tecnología y la captura del feminismo en las narrativas de los actores poderosos. Problematiza el creciente interés de las grandes corporaciones por incluir a las mujeres en la economía digital como una estrategia para promover sus propios intereses económicos. Para finalizar, plantea la nece- sidad de desmantelar ese discurso y reapropiárselo desde el movimiento
feminista, a fin de que la tecnología sea cada vez mas diversa e inclusiva.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
Haciendo una crítica desde una perspectiva feminista latinoamericana, Wanda Muñoz abre un debate sobre las iniciativas que buscan presentar la inteligencia artificial (IA) como una herramienta clave para acelerar el cumplimiento de los Objetivos de Desarrollo Sostenible (ODS). Propone recomendaciones y elementos mínimos que todo proyecto que busque contribuir a los ODS debería incorporar y demostrar, incluyen- do los sistemas inteligentes.
Virginia Brussa habla de la oportunidad de la investigación-acción por una agenda de lA feminista en América Latina como camino alternativo a las narrativas algorítmicas en disputa, planteando que los trayectos latino- americanos pueden servir de puntos de inflexión para problematizar por qué necesitamos una gobernanza y una ciencia de datos para una lA femi- nista y latinoamericana.
Laura Castro y Joan López, de Fundación Karisma, presentan los resultados del informe Vigilando a las 'buenas madres” (Castro 4 López, 2021) para ofrecer evidencia de que el manejo de datos puede afectar aún más a las mujeres en condición de pobreza. El estudio analiza cómo el programa de transferencias monetarias Familias en Acción afecta la autonomía y la dignidad de las mujeres-madres beneficiarias a través de una compleja red de vigilancia institucional y de estereotipos de género que imponen una carga diferencial sobre las mujeres en comparación con otras personas del hogar. En un contexto de datificación de la política asistencial colombiana, analizan el aumento de control social por medio de los datos a través de tres problemáticas principales: ¡) vigilancia; ii) punitivismo y iii)
disciplinamiento.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
Tatiana Revilla contrasta las estrategias de inteligencia artificial en seis países de América Latina y analiza la integración de elementos clave de la perspectiva de género (PEG). Identifica países con la integración de PEG como un elemento prioritario y transversal, sustentando con líneas de acción específicas; países que la establecen como un elemento sin un desarrollo tan amplio; y países que ni siquiera lo consideran como un ele- mento en la estrategia. Finalmente, ofrece recomendaciones generales para incorporar de una manera integral la PEG en las estrategias de lA en países latinoamericanos.
En cuanto a experimentaciones técnicas y metodológicas, Saiph Savage, lvonne Muñoz y Norma Elva Chávez comparten los avances de una investigación en la cual usan lA para mejorar las condiciones de vida y laborales de las mujeres latinas. Abordando la subrepresentación de mujeres latinas en proyectos de ciencia ciudadana, plantean utilizar esos espacios como oportunidades de desarrollo profesional para esas mujeres valiéndose de herramientas inteligentes.
La segunda sección presenta las versiones resumidas de los tres proyectos seleccionados en la primera convocatoria Incubando lA Feminis- ta, lanzada en 2021. Estos proyectos fueron realizados durante el primer semestre de 2022 por las organizaciones Derechos Digitales, Fundación Vía Libre y Data Género. La iniciativa Incubando lA feminista apoyará proyectos de investigación e innovación feminista a lo largo de tres años (2021-2024) con el propósito de contribuir al desarrollo de tecnologías inte- ligentes basadas en principios feministas y ancladas a las necesidades de las comunidades del sur global, particularmente en las regiones de América
Latina y el Caribe, Sudeste Asiático, Norte de África y Medio Oriente.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
En la tercera sección, titulada Visiones desde el sur, reunimos reflexiones de personas situadas en el sur global que comparten las preo- cupaciones y esperanzas de nuestra agenda.
De Yásnaya Elena Aguilar, compartimos la ponencia magistral presentada durante el Primer Encuentro Regional del hub de América Lati- na y el Caribe, realizado en marzo de 2022. En la conferencia “La lengua como territorio cognitivo y su relación con concepciones tecnológicas”, Yásnaya compartió reflexiones acerca de temas urgentes para atender los derechos lingúísticos y culturales y relacionó la soberanía tecnológica con los procesos de autonomía del pueblo mixe -y de todos los pueblos.
Tajeew Díaz Robles comparte su trayectoria como activista digital de lenguas indígenas y enseña esfuerzos de activistas que están tratando de ir contracorriente. Desde su vivencia como joven investigadora mixe, explica cómo las herramientas digitales pueden apoyar los esfuerzos locales y comunitarios para que una lengua minorizada y discriminada no muera.
El manifiesto descolonial de la lA presenta “una provocación, una pregunta, una apertura, una danza acerca de un futuro descolonial de los sistemas de inteligencia artificial”, reflejando una visión entre muchas, resultado de un ejercicio colectivo coordinado por Buse Cetin, Sabelo Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens.
Dentro del aporte de epistemologías críticas, la investigadora turca Raziye Buse Cetin instiga la reflexión sobre cómo la lA está profundamente entramada con la colonialidad del poder. La colonialidad no se restringe solo a las esferas políticas y económicas, sino también a los lugares de
producción de conocimiento, percepción, sentimiento e imaginación.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
Paola Ricaurte recalca la necesidad de analizar las asimetrías que hacen del desarrollo tecnológico de la lA un instrumento para la continuidad de la violencia a escala global. Recupera la noción de la colonialidad del poder para proponer una visión que articule los aspectos macro y micro- políticos del desarrollo tecnológico como parte de un proyecto descolonial y feminista, que considere las múltiples dimensiones involucradas en la producción de tecnologías de la lA justas para la mayoría del planeta.
Desde Tailandia, Soraj Hongladarom, líder del hub de Sudeste de Asia de la red f<a+i>r, propone un abordaje de la lA y el futuro de la huma- nidad desde la perspectiva del budismo. En la conferencia presentada también en marzo de 2022, habla en torno a la urgencia de pensarnos colectivamente, pensar en el futuro y, sobre todo, en el papel que juega la IA en el futuro de la humanidad.
Kruskaya Hidalgo, del Observatorio de Plataformas, Ecuador, aborda la problemática de las aplicaciones de transporte y reparto planteando refle- xiones feministas sobre la economía de plataformas. Aborda la complejidad de la interseccionalidad puesto que incluye precarización, género, migración, maternidad, salud, regularización, entre otros. Sus reflexiones apuntan la urgencia de llevar análisis feministas interseccionales a los debates de la gig economy, así como de disputar las narrativas y de visibilizar que la precarización que generan estos modelos de negocio tiene rostros específicos.
Abbijae Nevers, Chennel Williams y Raquel Seville, de BlBrainz, Jamaica, comparten un panorama sobre los datos -o la falta de ellos- y el
potencial de la lA en el Caribe. Ellas apuntan la necesidad de identificar los
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Presentación
sesgos sistémicos subyacentes en sus sistemas y procesos, culturas y datos, para poder avanzar en la agenda caribeña.
Desde Sudáfrica, Rachel Adams da voz al esfuerzo de un colectivo de especialistas y consultoras y comparte el proceso de construcción del Índice Global para lA responsable basado en los derechos humanos. Esta herramienta está pensada para apoyar a una amplia gama de actores en el avance de las prácticas de lA ética.
Finalmente, Laura Ación, Laura Alonso Alemany, Luciana Benotti, Matías Bordone, Beatriz Busaniche, Lucía González y Alexia Halvorsen, integrantes de la Fundación Vía Libre, nos comparten los aprendizajes de una serie de conversaciones organizadas durante el 2021 y que tratan la relación entre ética e lA. Los diálogos buscan analizar críticamente las tec- nologías que atraviesan nuestra vida, sin perder de vista la capacidad de desarrollarlas e implementarlas. El enfoque de estas conversaciones consistió en la búsqueda de la diversidad de voces presentes en esta área, desde el sur y con una perspectiva feminista por ser crítica, multidisciplinar e por poner en el escenario a distintos tipos de minorías en lA: mujeres.
A partir de estas reflexiones críticas y propositivas, esperamos tener incidencia en el desarrollo tecnológico y en la propuesta de políticas públi- cas que permitan avanzar en la agenda feminista de lA en la región hacia
futuros más justos y libres de violencia.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
23
REFERENCIAS
Castro, L., 4 López, J. (2021). Vigilando a las buenas madres”: Aportes desde una perspectiva feminista para la investigación sobre la datificación y la vigilancia en la política social desde Familias en Acción. Fundación Karisma.
https://www.researchgate.net/publication/350849100_Vigilando_a_las_buenas_madres_Aporte s_desde_una_perspectiva_feminista_para_la_investigacion_sobre_la_datificacion_y_la_vigilan cia_en_la_politica_social_desde Familias _En_Accion
Peña, P. (2020). Bigger, more, better, faster: The ecological paradox of digital economies. GISWatch Report. En Technology, the Environment and a Sustainable World.
https://giswatch.org/node/6245
Peña, P. 8 Varon, J. (2021). Not My Al. [Website]. https://notmy.ai/
Ricaurte, P. (2022). Ethics for the majority world: Al and the question of violence at scale. Media, Culture 8 Society, 44(4), 726-745. https://doi.org/10.1177/01634437221099612
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Pe
ns SA
y” sr, eN Ia A A => 2/1 *
EA = AN
PR) Pe LN
Y 25 => ás Jen
Hacia una agenda feminista
de inteligencia artificial en
América Latina y el Caribe
Entre la técnica y la práctica
Sofía Trejo
Instituto Tecnológico Autónomo de México México
En los últimos años, gobiernos, organismos internacionales, academia, so- ciedad civil y sector privado han formulado un sinnúmero de principios de la inteligencia artificial (IA), con la intención de alinear el desarrollo de esta tecnología con el bienestar, la ética o la sostenibilidad. Sin embargo, pese a existir más de ciento sesenta propuestaslél para desarrollar lA de forma “ética” o “responsable”, existe poco trabajo enfocado a estudiar de forma crítica estos principios y la factibilidad de que estos sean utilizados para guiar el desarrollo tecnológico. En este sentido, los principios éticos de la lA se han convertido en dogmas tecnológicos que nos prometen desarrollo, bienestar y un mejor futuro, sin preguntarse ¿qué es el desarrollo”, ¿bienestar para quienes y a qué costo? y si existe un consenso sobre qué
entendemos por un mejor futuro. Como consecuencia, los principios de la
[8] https://algorithmwatch.org/en/ai-ethics-guidelines-inventory-upgrade-2020/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
IA tienden a reforzar narrativas tecnológicas que asumen la universalidad de valores, así como de las visiones de mundo y de futuro y nutren la idea de que la tecnología (particularmente la lA) es la herramienta que nos permitirá materializar todos nuestros planes y aspiraciones. Sin embargo, antes de decidir si la lA podría acercarnos a un futuro más brillante valdría la pena dar un paso atrás y preguntarse ¿es posible usar la lA como herra- mienta para materializar el futuro que queremos?, ¿qué visiones del mundo posibilitan o dificultan estas herramientas?, ¿hasta qué punto es posible direccionar este fenómeno tecnológico y hacia dónde?, ¿qué agencia tenemos sobre estas problemáticas? y ¿qué papel juegan los feminismos en estas reflexiones?
Responder estas preguntas no es una tarea sencilla, requiere de un análisis profundo, desde una pluralidad de perspectivas, de los diversos procesos involucrados en el desarrollo de esta tecnología. Estos procesos abarcan desde la extracción de minerales para la creación de dispositivos, hasta la producción de las narrativas que vinculan el progreso con la lA. En particular, en este texto exploraremos algunas estructuras de poder en el campo de la lA y la manera en la que estas se han consolidado a través de una estrecha relación entre la técnica y la práctica. Para ello comen- zaremos explorando cómo es creada la lA y qué elementos son clave en su diseño.
La lA puede ser creada mediante diversas arquitecturas. La más uti- liada en la actualidad es llamada Aprendizaje Automático (Machine Learning en inglés). A grandes rasgos, podemos decir que los sistemas de
Aprendizaje Automático aprenden a emular algún comportamiento con base
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
a ejemplos de dicho comportamiento. Estos ejemplos son presentados al sistema como datos. Por ejemplo, si quisiéramos crear un sistema de lA que clasifique imágenes de animales por especie, deberíamos mostrarle numerosas imágenes de ejemplares de cada una de las especies que queremos que aprenda a clasificar. Con base en los ejemplos, el sistema podía crear un modelo de clasificación utilizando los patrones y regularida- des de los datos que le fueron presentados en la etapa de aprendizaje (también conocida como de etapa de entrenamiento).
Una vez que el sistema es entrenado, es importante saber qué tan bueno es para emular el comportamiento deseado. En nuestro ejemplo, esto equivaldría a saber qué tan bueno es el sistema para clasificar imáge- nes de animales por especie. Para evaluar el sistema, se le muestran datos que no haya visto antes (datos de evaluación) y se estudia la calidad de sus predicciones. Existen varias formas de evaluar el desempeño de un sistema de lA, la más utilizada en el campo es llamada exactitud. Podemos pensar en la exactitud de un sistema como el porcentaje de predicciones correctas que hace. Para dar una definición más formal, supongamos que los datos de evaluación conforman una muestra M. Entonces, la exactitud del siste- ma es el resultado de dividir el número de predicciones correctas que hizo el sistema sobre la muestra M, entre el tamaño de la muestra. Por ejemplo, si evaluamos nuestro sistema de clasificación de imágenes con un conjunto de 100 imágenes de animales y este clasifica correctamente la especie de 80 de estas imágenes, entonces el porcentaje de predicciones correctas es del 80% y la exactitud 0.8. En particular, sistemas que son mejores
emulando un comportamiento (que hagan más predicciones correctas)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
tendrán mayor exactitud. En este sentido, es posible utilizar la exactitud para comparar el desempeño de diversos sistemas en tareas específicas. Es importante recalcar que esta no es la única forma de comparar el de- sempeño de los sistemas de lA, pero actualmente es la más utilizada.
Más que una cantidad o un porcentaje, podemos pensar en la exac- titud como una manera de codificar qué es considerado importante para el desarrollo de lA y cómo se mide esa importancia. En otras palabras, esta métrica representa una valorización y como tal valdría la pena preguntarse ¿qué está favoreciendo esta valorización? y ¿qué impactos tiene esta métrica en el desarrollo tecnológico? Pero, sobre todo, valdría la pena cuestionar si es posible redireccionar la tecnología mediante valorizaciones distintas y qué papel puede jugar el feminismo en estas intervenciones. Para explorar estas interrogantes comenzaremos por analizar el desarrollo histórico de la lA.
Actualmente, tres factores son clave para el avance de la lA: la in- novación de algoritmos, los datos y la cantidad de cómputo disponible para el entrenamiento de los sistemas. De estos tres elementos, el mejor indica- dor del desempeño de los sistemas es la cantidad cómputo utilizada para entrenar los modelos. (Amodei 8 Hernandez, 2021) Recordemos que el in- dicador por excelencia para medir el desempeño es la exactitud. Esto quie- re decir que para poder estudiar el desarrollo de la lA en relación con el desempeño debemos entender la evolución del cómputo en el campo.
Por más de seis décadas, entre 1950 y 2011, la cantidad de cómputo utilizada para desarrollar sistemas de lA siguió un patrón similar al de la Ley
de Moore, duplicándose cada dos años. (Ahmed 8 Wahed, 2020) Durante
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
esta etapa, los diversos grupos de investigación utilizaban el mismo tipo de software y de hardware, y el equipo de cómputo tenía propósitos generales. (Ahmed 8 Wahed, 2020) Sin embargo, el año 2012 marcó el inicio de una nueva era en el desarrollo de lA. A partir de este momento la tasa de cómputo utilizada para entrenar modelos de lA comenzó a duplicarse cada
3.4 meses. (Amodei 8 Hernandez, 2021) (ver Figura 1)
Figura 1
Tasa de cómputo demandada por el deep learning
Computing Power demanded by Deep Learning
— e. Hs
Deep Learning
— 4 Ú]
me. o, 2
Hardware Performance
_ o. ,
— oa, .
Deep Learning era
Relative Computation
> o ,
_ o.
Dennard - scaling era Multicore era
1985 1990 1995 2000 2005 2010 2015 2020 Year
Fuente: Thompson et. al, 2020.
Este cambio drástico en la utilización de cómputo está relacionada con la introducción de hardware especializado para procesamiento, en par- ticular con el uso de Unidades de Procesamiento Gráfico (GPU, por sus si- glas en inglés). (Amodei 8 Hernandez, 2021) Las unidades GPU existían
antes del 2012, pero eran utilizadas principalmente para videojuegos y ani-
Inteligencia Artificial Feminista 29 Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
maciones gráficas. Sin embargo, después del 2012 el hardware especiali- zado se convirtió en una pieza clave para el desarrollo de la lA. De hecho, las grandes empresas de tecnología, como Amazon, Apple, Google y Tesla, trabajan en el diseño de hardware especializado. (Ahmed 8 Wahed, 2020) En muchos casos este hardware, como las Unidades de Procesamiento Tensorial (TPU por sus siglas en inglés) creadas por Googlel*, son accesi- bles a desarrolladores trabajando fuera de estas empresas mediante la renta de servicios de nube (como Google Cloud). Sin embargo, el costo de rentar estos equipos para crear modelos grandes de lA es extremadamente alto, por lo que no es accesible para la mayoría de los grupos de investiga- ción!*1. Por lo tanto, el desarrollo de hardware especializado y de otras in- fraestructuras digitales ha colaborado a la creación de un oligopolio que controla gran parte de los recursos computacionales requeridos para crear sistemas de lA de alto desempeño. En otras palabras, el aumento de la cantidad de cómputo requerida para crear sistemas de lA ha influenciado significativamente el desarrollo del campo, al favorecer a un pequeño grupo de actores (aquellos con acceso a hardware especializado).
Además de la aparición de hardware especializado, los cambios en el desarrollo de hardware para uso general también han jugado un papel importante en el desarrollo de la lA a nivel global. En particular entre los 60
y la primera década de los 2000, la velocidad de procesamiento de los mi-
[4] https://es.wikipedia.org/wiki/Unidad_de_procesamiento_tensorial
[5] Por ejemplo, se estima que entrenar el modelo GPT-3 de procesamiento de lenguaje utilizando los servicios de nube de Tesla costaría más de 4.6 millones de dólares. Ver Li, C. (2020).
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
crochips de uso general se incrementó a una tasa predecible, siguiendo la llamada Ley de Moore. (Cowls et al., 2021) Esta ley, nombrada así por Gordon Moore, el cofundador de Intel, predecía que la cantidad de transis- tores en un microchip se duplicaría cada dos años. (Cowls et al., 2021) Co- mo consecuencia de que el desarrollo tecnológico siguiera dicho patrón de crecimiento, fue posible duplicar el desempeño del equipo de cómputo aproximadamente cada 18 meses, sin incrementar los costos. (Markoff, 2015) Sin embargo, desde mediados del 2010, la tasa de crecimiento del desempeño de las mejores supercomputadoras se ha reducido sustancial- mente. (Markoff, 2015) En otras palabras, después del 2012 el desempeño de las computadoras de uso general dejó de incrementarse siguiendo su patrón histórico. Esto quiere decir que desde la primera década del los 2000 tres fenómenos han estado ocurriendo: 1) el uso de hardware espe- cializado ha cobrado mayor importancia en el desarrollo de la lA; 2) el de- sempeño del hardware de uso general ha dejado de aumentar siguiendo la Ley de Moore y; 3) la cantidad de cómputo requerida para producir siste- mas de lA ha aumentando a una tasa sin precedentes. ¿Qué consecuen- cias en el campo se han derivado de esto?
Uno de los cambios más significativos en el desarrollo de la IA en esta nueva etapa de la lA, post Moore y post 2012, es que los grupos de investigación han dejado de estar en circunstancias comparables. Esto se debe a que en este campo el acceso a cómputo está fuertemente ligado con la producción de los resultados de alto nivel, por lo que aquellos grupos sin acceso a hardware especializado y sin la capacidad de crear el software
requerido para implementarlo, están en desventaja. (Ahmed 8 Wahed,
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
2020) En otras palabras, a partir del 2012 se abrió una brecha de cómputo que provocó la centralización de la producción de conocimiento sobre lA en grupo pequeño de actores (varios de ellos grandes empresas de tecno- logía) des-democratizando el campo. (Ahmed 8 Wahed, 2020) Además, estos cambios han generado que los grupos que actualmente producen los mejores sistemas de lA (basados en exactitud o en métricas relacionadas) lo hagan a través del uso de cantidades masivas de cómputo, lo que esen- cialmente significa que están comprando mejores resultados. (Schwartz et al., 2020)
Como es de imaginarse, este nuevo paradigma tecnológico no ha afectado a todas las regiones del mundo de la misma forma. De hecho, ha favorecido al Norte Global y ha limitado el desarrollo tecnológico en diver- sas regiones del Sur. Para dar idea de la manera en la que estos cambios han influido la producción de conocimiento sobre |A podemos observar la Figura 2. Esta figura muestra el porcentaje de publicaciones (revisadas por pares) producidas en diversas regiones a nivel mundial. (Zhang et al., 2021) En particular, esta gráfica permite observar que el porcentaje de represen- tación de América Latina y el Caribe en el campo ha estado decreciendo, marginal pero constantemente, desde el 2012. De manera complementaria a la información presentada en la gráfica, destacamos que en las últimas dos décadas la participación de empresas tecnológicas (como Google y Facebook) en las principales conferencias de lA ha incrementado y que ac- tualmente estas empresas presentan aproximadamente el 30% de los tra-
bajos en estos espacios. (Ahmed 8 Wahed, 2020)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
33
Entre la técnica y la práctica
Figura 2
Porcentaje de publicaciones revisadas por pares producidas por regiones
PEER-REVIEWED Al PUBLICATIONS (% of TOTAL) by REGION, 2000-19
Source: Microsoft Academic Graph, 2020 / Chart: 2021 Al Index Report
40%
36.9% East Asia 8. Pacific
30%
20%
17.0% North America
Peer-Reviewed Al Publications (% of Total)
5.5% Middle East 8. North Africa
0%
2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019
Fuente: Zhang et al. (2021)
Además de las problemáticas antes mencionadas, crear sistemas de IA tiene altos costos económicos y ambientales. Actualmente, el entrena- miento de un sistema de lA de última generación requiere millones de dóla- res. (Ahmed 8 Wahed, 2020) Por lo que desarrollar este tipo de sistemas está fuera del alcance de la mayoría de los grupos de investigación, parti-
cularmente de aquellos en el Sur Global. Por otro lado, la enorme cantidad
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
de cómputo requerida para crear estos sistemas ha provocado que el en- trenamiento de un único sistema de lA produzca emisiones de gases inver- nadero comparables a las emisiones anuales combinadas de 60 automóviles!
Como hemos observado, mejorar el desempeño de la lA (utilizando como parámetro principal la exactitud) ha tenido consecuencias significati- vas en el desarrollo del campo a nivel global. Principalmente el incremento de los costos e impactos ambientales asociados con el desarrollo de estos sistemas y en la desigualdad, sobre todo en el Norte y el Sur Global. Por lo tanto valdría la pena preguntarnos ¿qué ganamos con este enfoque de de- sarrollo? y sobre todo ¿existen otros caminos posibles?
Por extraño que parezca, aunque la exactitud mide qué tan buenos son los sistemas para predecir un comportamiento, los incrementos en esta métrica no hacen que esta tecnología sea más inteligente. Esto es de suma relevancia, ya que en la actualidad gran parte de la investigación en lA está enfocada en a diseñar sistemas con mayor desempeño (¡.e., mayor exacti- tud) en pruebas específicas y en crear nuevas pruebas una vez que las existentes han sido superadas. (Bender et al., 2021; Schwartz et al., 2020) Sin embargo, existe poca claridad sobre si esta forma de desarrollar |A efectivamente crea sistemas con mayor inteligencia o si en realidad los re- sultados dependen de enormes cantidades de cómputo y datos (en otras
palabras de la estadística). (Bender et al., 2021) Por estos motivos, algunas
[6] Se estima que entrenar el sistema de Procesamiento de Lenguaje Natural GTP-3 generó cerca de 280,000 Kg de CO2. Para poner esta cifra en perspectiva, consideremos que un auto en Estados Unidos emite en promedio 4,600 kg de COZ2 al año, lo que significa que las emisiones producidas por el entrenamiento de ese sistemas de lA fueron equivalentes a las emisiones anuales de 60 automóviles.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
expertas, entre ellas Timnit Gebru, abogan por un cambio en las metas de investigación que guían la lA y proponen dejar de priorizar diseñar sistemas con la intención de mejorar su desempeño en pruebas específicas, para poner énfasis en investigación que ayude a entender cómo es que las má- quinas superan estas pruebas. (Bender et al., 2021) En otras palabras, se propone redireccionar las líneas de investigación en lA para mejorar el en- tendimiento de la manera en la que operan los sistemas, en lugar de seguir produciendo sistemas más exactos cuyo funcionamiento no entendemos. Además de enfocar la investigación en lA en mejorar entendimiento de los sistemas de lA, sería interesante pensar si es posible desarrollar es- trategias que de manera conjunta permitan aminorar otras problemáticas derivadas de la excesiva importancia que el campo le ha dado a la exacti- tud, como el incremento de la desigualdad y de los impactos ambientales. Afortunadamente, el trabajo sobre lA y cambio climático podría servir como apoyo para proponer alternativas. En particular, estudios recientes han identificado la eficiencia como una métrica más adecuada que la exactitud para evaluar los sistemas de lA. (Cowls et al., 2021; Schwartz et al., 2020) Esto se debe a que medir la eficiencia significa reportar la cantidad de tra- bajo requerido para producir un resultado de lA. (Schwartz et al., 2020) Lo que incluye cuantificar el trabajo requerido para entrenar el modelo y, de ser aplicable, el trabajo utilizado para todos los experimentos de calibración (hyperparameter tuning). Algunas de las ventajas de la eficiencia sobre la exactitud son que esta métrica permite cuantificar impactos ambientales y favorece mejoras en manejo de recursos (en lugar de favorecer el uso de mayores cantidades de cómputo). En este sentido, la eficiencia permite
hacer comparaciones más justas entre sistemas, ya que toma en conside-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
ración la cantidad de recursos utilizados para crear los modelos.
Sin embargo, definir qué se entiende por eficiencia no es una tarea sencilla. Esto se debe a que si queremos que esta métrica sirva para com- parar sistemas esta debe ser independiente del laboratorio, del tiempo y del hardware utilizado. Y encontrar la forma de satisfacer estos requerimientos de forma simultánea no es fácil. Por ejemplo, podría parecer una buena idea definir la eficiencia de un sistema de lA tomando en consideración la cantidad de emisiones de carbono generadas durante su desarrollo. El pro- blema con esta propuesta es que las emisiones generadas por sistemas de IA dependen de las emisiones de las redes eléctricas y estas varían sus- tancialmente dependiendo de la localidad y de los tipos de energía (eléctri- ca, eólica, hidráulica etc). (Cowls et al., 2021) Por lo que las emisiones de carbono producidas por un sistema de |A dependen del lugar en donde este fue desarrollado.
Tomando en cuenta esta dependencia entre la localidad y los im- pactos ambientales, se podría proponer medir la eficiencia tomando en cuenta la cantidad de electricidad utilizada para crear cada modelo, en lu- gar de las emisiones de carbono. Esta propuesta tiene la ventaja de ser in- dependiente tanto del tiempo como de la localización. Además la mayoría de los GPUs reportan la cantidad de electricidad que consumen, lo que fa- cilita el cálculo de la cantidad de electricidad requerida para generar cada modelo de lA. Sin embargo esta métrica tiene un inconveniente, el consu- mo de energía utilizado para crear un modelo depende del hardware que se haya utilizado. (Schwartz et al., 2020) Por lo tanto, usar la cantidad de energía requerida para crear el sistema como métrica es independiente del
tiempo y de la localización, pero no es independiente del equipo. Esto quie-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
re decir que no es trivial encontrar nuevas métricas que permitan hacer comparaciones más justas entre los sistemas y que tomen en cuenta los impactos ambientales generados por esta tecnología, ya que estas valori- zaciones deberán tomar en cuenta que los sistemas de lA son producidos en diversas localidades que varían tanto en equipo como en infraestructu- ras, lo que afecta la capacidad de cómputo e impactos ambientales deriva- dos cada desarrollo tecnológico.
En este sentido, definir nuevas valorizaciones que permitan guiar el desarrollo de la IA hacia una mayor equidad y sostenibilidad, dependerá de una reflexión profunda sobre qué queremos priorizar y cuál sería la mejor manera de hacerlo. Como hemos visto, este proceso debe estar acom- pañado de un entendimiento de las relaciones de poder y la manera en la que estas permean tanto la técnica como con la práctica. Es en estas con- versaciones que las perspectivas feministas y del sur global tienen mucho que aportar, ya que diseñar estrategias para guiar esta tecnología hacia nuevos horizontes requerirá conceptualizar intervenciones que permitan re- direccionar los diversos procesos involucrados este desarrollo tecnológico, tomando en consideración la manera en la que estos se interrelacionan con experiencias y contextos específicos. El cambio no será fácil, pero una cosa es clara: otros caminos son posibles. Construirlos dependerá nuestra capa-
cidad de crear estrategias conjuntas que nos permitan caminar hacia ellos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Entre la técnica y la práctica
REFERENCIAS
Ahmed, N. 8 Wahed, M. (22 de octubre de 2020). The de-democratization of Al: deep learning and the compute divide in artificial intelligence research https: //arxiv.org/abs/2010.15581
Amodei, D., 4 Hernandez, D. (21 de junio de 2021). Al and Compute. [Blog post]. OpenAl.
https://openai.com/blog/ai-and-compute/
Bender, E. M., Gebru, T., McMillan-Major, A., 8 Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?. In Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610-623). https://dl.acm.org/doi/abs/10.1145/3442188.3445922
Cowls, J., Tsamados, A., Taddeo, M., 4 Floridi, L. (2021). The Al gambit: Leveraging artificial intelligence to combat climate change —Opportunities, challenges, and recommendations. Ai 8. Society, 1-25. https: //link.springer.com/article/10.1007/500146-021-01294-x
Li, C. (11 de septiembre de 2020). OpenAl's GPT-3 Language Model: A Technical Overview. [Blog post]. Lambda Deep Learning Blog. https://lambdalabs.com/blog/demystifying-gpt-3/
Markoff, J. (27 de septiembre de 2015). Smaller, Faster, Cheaper, Over: The Future of Computer Chips. The New York Times. https://www.nytimes.com/2015/09/27/technology/smaller-faster-cheaper-over-the-future-of- computer-chips.html
Schwartz, R., Dodge, J., Smith, N. A., 4 Etzioni, O. (2020). Green ai. Communications of the ACM, 63(12), pp. 54-63. https://dl.acm.org/doi/abs/10.1145/3381831
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
39
Entre la técnica y la práctica
Thompson, N. C., Greenewald, K., Lee, K. £ Manso, G. (10 de julio de 2020). The Computational Limits of Deep Learning. https: //arxiv.org/abs/2007.05558
Zhang, D., Mishra, S., Brynjolfsson, E., Etcthemendy, J., Ganguli, D., Grosz, B., Lyons, T, Manyika, J., Niebles, J.C., Sellito, M., Shoham, Y., Clark, J. 8 Perrault, R. (9 de marzo de 2021). The Al Index 2021 Annual Report. https: //arxiv.org/abs/2103.06312
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital:
poder, concentración y exclusión social
Sofía Scasserra
Observatorio de Impactos Sociales de Inteligencia Artificial-UNTREF Transnational Institute
Argentina
Indudablemente las nuevas tecnologías han cambiado las formas de vida en las últimas décadas. No solamente el surgimiento de la digitalización y las nuevas formas de comunicación, sino, sobre todo, los procesos de au- tomatización e interacción tecnológica a través de la inteligencia artificial (IA). Dichos procesos se han naturalizado en las sociedades, pasando de- sapercibidos y muchas veces, incuestionados. Pero especialistas de todo el mundo, sobre todo mujeres, han alzado voces respecto a los peligros que conllevan!”l, Decididamente el feminismo tiene mucho por hacer para que la brecha de género no se automatice, digitalice y naturalice a través de pro-
cesos que interactúan en lo cotidiano y en las vidas de las personas. Así,
[7] Como el caso de Joy Buolamwini que fundó la Liga de la Justicia Algorítmica para luchar contra los sesgos de género y raciales en los algoritmos. (AJL, 2016) https://www.ajl.org/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 40
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
desde el ámbito corporativo, se comenzó un “lavado de cara” a la transfor- mación digital mostrando la importancia de las cuestiones de género en la agenda tecnológica.
Sin duda no se podía ignorar el debate y el sesgo evidente que surgía frente a una tecnología hegemónica que perpetuaba parámetros sexistas y patriarcales. En ese sentido, existe hoy más conciencia respecto a la importancia de una lA feminista. Pero, ¿no se estará utilizando esta agenda para la concentración de poder y continuar con un modelo capita- lista de acumulación que no tenga en cuenta a las mujeres del sur global”? En otras palabras: ¿debe la agenda feminista de lA seguir los parametros corporativos? ¿O es necesario construir nuestras propias narrativas desde el sur global para que la lA sea verdaderamente feminista, inclusiva y anti-
patriarcal?
CONTEXTO
Es notable cómo la tecnología y las cuestiones de género comenzaron a tomar preponderancia en la agenda corporatival?l. Se ven programas de in- clusión de mujeres en programación, slogans rimbombantes dentro de las GAFAMIÍ?] como “el futuro es femenino”!1% e innumerables simposios y paneles sobre el cruce de tecnología y género como el gran igualador en la era digital.
Lo que se oye a menudo es que “la tecnología es neutral al género y
[8] A modo de ejemplo, el programa Getting to Equal de Accenture (Accenture, 2020) [9] Google, Apple, Facebook, Amazon y Microsoft.
[10] Durante un tiempo Facebook entregaba artículos en eventos con ese slogan.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
por ende es el gran igualador. No importa quién está del otro lado, la paga y las oportunidades son las mismas para todos”. Frases de este estilo son pronunciadas en Naciones Unidas y otras organizaciones internacionales como la Organización Mundial de Comercio (OMC) en pos de promover la agenda de negociación de la economía digitall111.
Nunca antes las empresas y el lobby corporativo estuvieron tan inte- resados en temas de igualdad de género y si bien puede ser leido como una oportunidad en algunos términos, indudablemente tambien es un lla- mado de atención frente a la utilización de la agenda feminista para promo- ver los intereses corporativos capitalistas. Es decir, no todo está mal, lo que hay que hacer es analizar cada iniciativa y ver si persigue una finalidad feminista o es más bien un lavado de cara “rosa” para lograr promover inte- reses que poco tienen que ver con el feminismo y sus reclamos. Esto ya fue denunciado por diversos organismos internacionales como la Red del Tercer Mundo. (TWN, 2017)
En este sentido, podemos ver iniciativas como la del G20 (G20, 2020), que habla de incorporar a las mujeres al comercio electrónico para promover la igualdad de género. La elección del término “comercio electró- nico” no es casual. En efecto, la OMC ha denominado al programa de ne- gociación de desregulación de economía digital “comercio electrónico”, para hacerlo pasar como un mero tema comercial que nada tiene que ver con
prácticas coloniales y extractivistas, escondiendo así una agenda que apa-
[11] Para ver este tipo de argumentos, se puede visitar la página de la Semana del comercio Electrónico en UNCTAD (UNCTAD, 2019) o el Foro Público de la OMC (OMC, 2019) donde hay una diversidad de paneles defendiendo esta postura.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
rentemente promueve la inclusión de mujeres en internet, pero que en el fondo busca generar más concentración digital y desigualdad social en los años por venir. Todo esto sumado al sistema multilateral de comercio que diseña una economía que sólo ha tenido impactos negativos en las mujeres. En la última Reunión Ministerial de Buenos Aires, los gobiernos firmaron una declaración (OMC, 2017) sobre la importancia de velar por la igualdad de género en el sistema comercial vigente, declaración que fue rechazada por más de 220 grupos feministas de todo el mundo (ALWLD, 2018) por considerarla un “lavado rosa” para continuar empujando una
agenda neoliberal que afecta, sobre todo, a las mujeres del sur global.
CAPITALISMO DIGITAL
La industria tecnológica está creciendo a pasos agigantados. El nuevo capitalismo digital (también denominado capitalismo de vigilancia (Zuboff, 2019)) está llevando a la economía capitalista a una nueva fase más tecno-productiva y eficiente, donde el capital tecnológico fagocita a las industrias tradicionales y las transforma en su formato digital para sobrevivir (Scasserra 4 Sai, 2020). Plataformas de intermediación, plataformas “pobres” y plataformas que gestionan plataformas (Srnicek, 2018), son algunas de las formas que adquieren estas empresas. Esta industria ha tomado el dis- curso feminista como bandera en muchas escenas internacionales y reportes. Pero la pregunta es ¿por qué ese interés? Lo cierto es que la industria necesita cada vez más personas trabajadoras que programen, que corrijan código, que puedan generar las herramientas para convertir los datos en información, y esa información en productos vendibles en el mercado. El
ejército de trabajadores de Silicon Valley es enorme, pero no es suficiente.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
Y la masiva publicidad que se hace para lograr “convencer” a más personas a seguir carreras relacionadas con la tecnología es realmente admirable. Se podría argumentar que los hombres que están en la industria son insufi- cientes y que incorporar más trabajadores necesariamente precisa de inclu- sión social. En efecto, se vislumbra que todo aquel hombre de clase media que puede y quiere elegir carreras tecnológicas ya lo ha hecho y que incor- porar más es realmente muy difícil. Sólo queda incorporar al mercado aquellos que no tienen posibilidad de estudiar, pero eso precisa de políticas públicas de largo plazo y compromisos sociales. En el medio el discurso fe- minista aparece como una oportunidad. ¿Será que incluir mujeres en tec- nología y convencerlas de que es la carrera del futuro es más barato que hacer inclusión? No se argumenta aquí que no se deba aprovechar la oportunidad para darle mejores empleos a las mujeres en el largo plazo, si- no que hay que ser concientes de que el altruismo capitalista de contratar mujeres, de capacitarlas y de incluirlas, podría no responder a un genuino deseo de programar lA feminista y mitigar sesgos, sino que responde a una necesidad de mano de obra. Es más fácil convencer mujeres de clase me- dia a seguir carreras tecnológicas que incorporar hombres y mujeres sin estudios al mercado laboral. La agenda corporativa podría estar utilizando la bandera feminista para llevar adelante sus propios intereses.
En efecto, en diversos foros internacionales se vislumbra un mensaje feminista, pero este artículo se concentra en uno en particular: la Organización Mundial de Comercio, donde se están escribiendo las reglas de la economía capitalista digital. Tanto en el Foro Público de la OMC (2019), como en la Reunión Ministerial que se realiza cada dos años
aproximadamente, como en la semana del comercio electrónico de la
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
UNCTAD!!! (2019) se organizan paneles sobre la importancia del Comercio Electrónico para las mujeres. El argumento de base es que la tecnología es neutral y por ende es el gran igualador. En efecto, al comerciar o trabajar por internet, no se sabe si el que está del otro lado es hombre o mujer y, por ende, la paga es independiente de las cuestiones de género. Se argu- menta entonces que la tecnología nos hará alcanzar la igualdad de remu- neración y de trato en el largo plazo, pero que además representa una oportunidad indispensable para las mujeres del sur global, que pueden vender sus artesanías y exportar a través de plataformas. Todos argumen- tos que tratan de llevar a la conclusión de que negociar una agenda de economía digital será beneficioso para las mujeres en el mundo.
Cabe destacar que si bien estos argumentos pueden parecer a pri- mera vista certeros, son bastante faltos de evidencia y de sustento. Para comenzar, que una tecnología sea neutral no alcanza para que iguale. De ser así, la aspiradora o el lavarropa serían elementos igualadores de género, ya que funcionan perfectamente los enciendan quienes los enciendan. No obstante, la tecnología es intrínseca a la sociedad y su diseño y utilización son los que las hacen sexistas, no la tecnología en sí misma. (Thomas € Buch, 2008) Por otro lado, argumentar que la paga es igual, también es, al menos, cuestionable: existen estudios que demuestran que las choferes de
UBER ganan un 7% menos que sus colegas hombres debido a la baja cali-
112]
Instancia que se utiliza para debatir las reglas que se negocian en la OMC.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
ficación que reciben solo por ser mujeres (Cook et al., 2020). Podemos su- poner, además, que el desempeño en términos de responder consultas y entregar paquetes por venta de canales electrónicos podría ser levemente inferior en mujeres debido a que se hacen cargo mayormente de la economía del cuidado y, por ende, disponen de menos tiempo para estar “al servicio del algoritmo”. Este, entonces, podría “castigarlas” con una más baja calificación, menos exposición y, por consiguiente, menor volumen de ventas y, en consecuencia, menor ingreso.
Finalmente, las múltiples barreras que perciben las mujeres al co- merciar por internet, no solo en términos de tiempo, sino también en términos de recursos financieros (las mujeres tienen menor acceso al crédito (Au- guste, 2020), de infraestructura, barreras culturales, de idioma, impositivas, de estándares comerciales y aduaneros, conforman una serie de limitaciones que hacen que no sea tan fácil exportar desde el sur global hacia los países más desarrollados. Puede existir alguna mujer que lo haya logrado, y normal- mente estos casos son resaltados y mostrados como patrones a seguir, pero lejos está de ser la realidad de la mayoría de las mujeres. La gran mayoría de las personas en el sur global utilizan estas plataformas para vender de forma local, sin capacidad exportadora, limitándose a ser meras usuarias de tecnología en lugar de configurar una economía que genere y construya tecnología para el desarrollo y la industrialización digital nacional.
Cuestionados estos argumentos, nos queda por ver qué agenda promueven para ver si efectivamente es feminista. Se quiere utilizar a las mujeres como excusa para aprobar la negociación de “comercio electróni-
co” en la OMC. Pero, ¿qué determina esta regulación? Vayamos por parte
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
en sus 5 principales artículos y que implican:
o Libre movilidad de los datos: Este artículo determina que un go- bierno no puede poner limitaciones respecto a la movilidad de da- tos ni tener acceso a los mismos una vez que estos se almacenen en otro lugar fuera de las fronteras del país. Esto es importante porque los datos, como materia prima de la lA, pueden ser exigi- dos por los gobiernos para el diseño de políticas públicas o de ins- trumentos de gestión ciudadana para mejorar la calidad de los servicios públicos.
o Almacenamiento y procesamiento de datos: establece la prohibi- ción de que un Estado imponga limitaciones respecto al almace- namiento y procesamiento de los datos. Esto es fundamental desde una perspectiva de desarrollo económico, ya que en esas dos instancias es donde se obtiene el mayor valor agregado de los datos, al almacenarlos y transformarlos en información que pueda ser un producto vendible en la economía. Un país no podría impo- ner restricciones a las empresas respecto a dónde almacenas los datos y quienes los procesan, limitando la capacidad de elaborar una estrategia de industrialización digital en el futuro.
o Cero impuestos a las transferencias electrónicas: no hace falta decir que el comercio de bienes y servicios, hoy día, es digital. Desde un ebook, pasando por una película, hasta una pieza ela- borada con una impresora 3D, todo puede ser vendido y entregado por internet. Este artículo establece que no se pueden cobrar im-
puestos por estas transacciones, limitando seriamente la ca-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
pacidad recaudatoria de los Estados a futuro y la financiación de servicios públicos e inversión en infraestructura.
o No divulgación del código fuente y algoritmos relacionados: si algo sabemos de la lA es que tiene sesgos, sus diseños pueden fallar y que pueden estar incumpliendo normas o tener conflicto con derechos fundamentales, entre otros peligros. Preservar la ca- pacidad de auditarlos es fundamental. Este principio busca prohibir cualquier tipo de auditoría de los algoritmos a futuro. Tan cuestio- nada es esta norma que se han puesto cada vez más excepciones a la misma. (Smith, 2017) No obstante, se insiste con preservarla aun sabiendo las nefastas consecuencias que puede tener en un futuro en nuestras sociedades.
o Protección de datos personales: el acuerdo no establece están- dares mínimos obligatorios, sino que insta a los países a trabajar, informar y cooperar en esta agenda, pero no mucho más que eso, dejando libre a cada país para establecer sus propios estándares. Es decir, cuando se habla de desarrollo, limitan la acción estatal, y
cuando se habla de privacidad, dejan libre albedrío.
Como puede verse, la agenda no tiene como objetivo hacer tecno- logías diversas e inclusivas ni tiene la agenda feminista en mente, sino más bien desarrolla una serie de medidas tendientes a desregular la materia prima de la lA, permitiendo a las grandes corporaciones producir a su gusto la tecnología, limitando la capacidad regulatoria de los Estados y, por ende, concentrando aun más la producción tecnológica en manos de unos pocos.
Las consecuencias en términos de profundización del sistema capitalista
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
48
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
hacia un capitalismo tecno-eficiente y más concentrado son evidentemente nocivas para las mujeres, sobre todo en el sur global. En efecto, se utiliza el discurso feminista para impulsar una agenda que nada tiene que ver con la inclusión y la igualdad, sino con la concentración y la ganancia por sobre la gente. Una superestructura que podría llegar a beneficiar a algunas muje- res en el norte global, vis a vis millones de mujeres en el sur global, cada vez con peores salarios, con mayores brechas digitales, sin acceso a los servicios públicos de calidad y sin posibilidad de insertarse en los empleos
del mañana.
Conclusiones
La utilización del feminismo por parte del capitalismo digital para profundizar un modelo económico es notoria. Desde el feminismo se debe tomar nota de esta situación, evidenciar mediante investigación académica y fomentar un cambio discursivo que lleve a una inclusión genuina de todas las personas a fin de tener una economía digital mas diversa, plural, inclu- siva y feminista. Evidentemente la concentración de materia prima (datos), de ganancias a través del no pago de impuestos y de poder al mantener el secreto algorítmico, solo puede llevar a sociedades más desiguales y anti- democráticas.
En este sentido, resulta trascendental trabajar en una lA sin sesgos y en principio éticos fundamentales, pero sigue siendo fundamental mirar la superestructura normativa supranacional que se está negociando actual- mente a fin de que no se impongan limitaciones a la capacidad estatal de
intervenir la tecnología en favor de los pueblos, como poderosas herra-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
mientas para transformar la sociedad. La tecnodiversidad teniendo en cuenta la diversidad cultural no es solamente un deseo con el que soñar, es fundamental para las democracias y las economías del mundo, si se quiere
soñar con un mañana mejor.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
50
51
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
RECOMENDACIONES
Por todo lo anteriormente dicho es que resulta fundamental:
o Investigar la utilización del feminismo para implementar y profundizar
un sistema de capitalismo digital tecno-eficiente
o Promover el debate y concientizar de que no se firmen estos
acuerdos a instancias supra nacionales
o Promover el debate regulatorio a nivel nacional antes de que se
aprueben estas nocivas normativas internacionales
o Investigar los cruces entre comercio de datos-desarrollos tecnologi- cos y género que sirvan como argumentos para deterner la utilización
del discurso feminista en estos espacios
o Demostrar la importancia de mantener la capacidad de auditar algo- ritmos cuestionando, sobre todo, la propiedad intelectual de los mis-
mos, buscando que respeten derechos fundamentales en la sociedad
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
REFERENCIAS
Accenture. (5 de marzo de 2020). Getting to Equal 2020. Accenture. [Blog post.] https: //www.accenture.com/ca-en/company-news-release-getting-to-equal-2020
Algorithmic Justice League. (2016). Algorithmic Justice League - Unmasking Al harms and biases. Algorithmic Justice League. https://www.ajl.org/
Asia Pacific Forum on Women, Law and Development. (2018). Press Release: Women's Rights Groups call on Governments to Reject the WTO Declaration on “Women's Economic Empowerment”. Asia Pacific Forum on Women, Law and Development (APWLD). https://apwld.org/press-release-164-womens-rights-groups-call-on-governments-to-reject-the- wto-declaration-on-womens-economic-empowerment/
Auguste, S. (2020). Género y acceso al financiamiento empresario en Argentina. Banco Interamericano de Desarrollo. https: //publications.iadb.org/publications/spanish/document/Genero-y-acceso-al- financiamiento-empresario-en-Argentina.pdf
Cook, C., Diamond, R., Hall, J. V., List, J. A., 8 Oyer, P. (2020). The Gender Earnings Gap in the Gig Economy: Evidence from over a Million Rideshare Drivers. Stanford University. https://web.stanford.edu/-diamondr/UberPayGap.pdf
G20. (2020). Joint Statement on Women in International Trade Networks. G20 Research Group. http://www.g20.utoronto.ca/b20/B20-W20-Jt-Stmt-on-Women-in-International-Trade-09-20- 2020_Feedback1 .pdf
Organización Mundial del Comercio. (2017). Joint Declaration on Trade and Women's Economic Empowerment on the Occasion of the WTO Ministerial Conference in Buenos Aires. Organización Mundial del Comercio. https://www.wto.org/english/thewto_e/minist_e/mc11_e/genderdeclarationmc11_e.paf
Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe B2
La utilización del feminismo para promover el capitalismo digital poder, concentración y exclusión social
Organización Mundial del Comercio. (2019). WTO | Public Forum 2019 — Trading Forward: Adapting to a Changing World. Organización Mundial del Comercio. https: //www.wto.org/english/forums_e/public_forum19_e/public_forum19_e.htm
Scasserra, S., 8 Sai, L. F. (2020). La cuestión de los datos. Plusvalía de vida, bienes comunes y Estados inteligentes. Buenos Aires: Fundación Friedrich Ebert. http://www.fes.org.ar/public/LAY%20CUESTIVWC3%93N%20DE%20LOS%20DATOS.pdf
Smith, S. R. (2017). Some preliminary implications of WTO source code proposal. Introduction. Third World Network (TWN). https://www.twn.my/MC1 1/briefings/BP4.pdf
Srnicek, N. (2017). Capitalismo de plataformas (A. Giacometti, Trad.). Buenos Aires: Editorial Caja Negra.
Thomas, H., 8 Buch, A. (Eds.). (2008). Actos, actores y artefactos: Sociología de la tecnología. Quilmes: Universidad Nacional de Quilmes Editorial.
Third World Network. (2017). 'Pink washing' WTO with draft women's declaration? Third World Network (TWN). https://www.twn.myítitle2/wto.info/2017/t1171228.htm
United Nations Conference on Trade and Development. (2019). eCommerce Week 2019: from Digitalization to Development. United Nations Conference on Trade and Development. https://unctad.org/meeting/ecommerce-week-2019-digitalization-development
Zuboff, S. (2019). The age of surveillance capitalism: The fight for a human future at the new frontier of power. Londres: Profile Books.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el
cumplimiento de los
Objetivos de Desarrollo
Sostenible: ts
crítica desde una perspectiva feminista Red Seguridad Humana en América Latina
y el Caribe (SEHLAC)
latinoamericanal!??l Sr exiCco
El más reciente auge de la inteligencia artificial ha venido acompañado del desarrollo de diferentes iniciativas y proyectos que afirman utilizar inteli- gencia artificial (IA) para acelerar el cumplimiento de los Objetivos de De- sarrollo Sostenible (ODS) en el marco de la Agenda 2030. (UNESCO, s.f.) Sin embargo, existen proyectos que se autodenominan como “lA para los ODS” o “lA para el bienestar social” cuando en realidad no cumplen con criterios reconocidos internacionalmente como indispensables para imple- mentar dicha agenda; por ejemplo, una perspectiva transversal de género o un monitoreo basado en indicadores de derechos humanos que permitan
evaluar de manera objetiva y verificable su impacto. De acuerdo con el
[13]
Con agradecimiento sincero a Paola Ricaurte, Mariana Díaz Figueroa y Christian Lemaitre por sus comentarios al primer borrador de este texto.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
informe del Global Partnership on Artificial Intelligence - GPAIM4l realizado por The Future Society (2021):
Muchas iniciativas dentro del ecosistema de lA responsable tienen métricas poco claras para monitorear el progreso... estas carecen también de metodologías sólidas para evaluar su impacto. Esto dificulta evaluar su desempeño, en particular cuando se trata de avanzar en el progreso hacia los ODS de la ONU. (The Future Society, 2021)
Este artículo explorará dos preguntas:
1. ¿Cuáles son los criterios fundamentales que deberían considerarse para evaluar si un sistema o aplicación de |A contribuye de manera efectiva y comprobable a los ODS?
2. ¿Qué elementos de análisis nos aporta un abordaje
feminista de este tema?
Es importante reflexionar sobre estas cuestiones para adoptar una mirada crítica de los discursos sobre aplicaciones de inteligencia artificial
que, de manera intencional o no intencional, pueden en realidad replicar
[14]
The Global Partnership on Artificial Intelligence (GPAI). La Alianza Global sobre Inteligencia Artificial es una iniciativa internacional y de múltiples partes interesadas que tiene como objetivo promover el desarrollo y el uso responsable y centrado en el ser humano de la inteligencia artificial. https://gpai.ai/ (N. de las Eds.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
modelos de dominación y sistemas de opresión dentro de un mismo país, o a nivel internacional; inclusive si se denominan a sí mismos “lA para el bie- nestar social”.
Asimismo, es fundamental cuestionar si los enormes recursos que hoy se destinan a la inteligencia artificial “para los ODS” son efectivamente la manera más eficaz de contribuir a su cumplimiento. (IDC, 2022) Sería fundamental contar con estudios comparativos que evalúen si los miles de millones que se invierten (o en algunos casos, malgastan) en inteligencia artificial son la forma más pertinente, eficaz, eficiente, sostenible y con mayor impacto (OCDE, 2019) de cumplir con la Agenda 2030; en particular si se compara con la alternativa de destinar esos mismos recursos a las organizaciones de base que hoy en día enfrentan enormes dificultades para acceder a los medios necesarios para implementar sus propios proyectos,
diseñados localmente.
1. Un análisis feminista de los impactos diferenciados de la util-
ización de la inteligencia artificial
De acuerdo con la UNESCO (2021), la inteligencia artificial puede definirse como aquellos “sistemas tecnológicos con capacidades de proce- sar información de una manera que se asemeje a un comportamiento inte- ligente, y abarca generalmente aspectos de razonamiento, aprendizaje, percepción, predicción, planificación o control”. Entre los desafíos, se reco- nocen diferentes riesgos y afectaciones que son cada vez más identificados
y denunciados, en particular desde la sociedad civil y la academia.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Ol
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
Tomemos como base la definición de Márgara Millán (2019), que
dice que hoy los feminismos son
(...) algo más parecido a una plataforma antisistémica de lucha contra la violencia, que reconoce que la situación diversa de las mujeres y sus distintas opresiones y violencias están contenidas en una estructura capitalista, colonial y patriarcal. Y que son esas estructuras las que hay que transformar (...)
Si analizamos los riesgos y afectaciones de la inteligencia artificial desde esa perspectiva, veremos que estos no tienen un impacto similar a nivel global, ni entre los grupos poblaciones que enfrentan esas distintas
opresiones y violencias. Por ejemplo:
1. Los sesgos en sistemas de inteligencia artificial tienen un im- pacto negativo desproporcionado en grupos históricamente vulne- rados, en particular mujeres y personas racializadas, como lo han demostrado Dr. Joy Buolamwini, Dr. Timnit Gebru e Inioluwa De- borah Raji. (Buolamwini € Gebru, s. f.; Gebru, 2020; Hao, 2020)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
2. La militarización de la inteligencia artificial tendría un impacto desproporcionado en el sur Global, países en conflicto y grupos históricamente marginados; como lo han hecho otras nuevas tec- nologías para uso militarl*51.
3. Las deepfakes, además de un posible riesgo a la seguridad in- ternacional, ya están siendo utilizados para cometer violencia de género en línea. (Venema, 2020)
4. La utilización de reconocimiento facial facilitado por inteligencia artificial para fortalecer la vigilancia policial se está utilizando contra la sociedad civil organizada, incluyendo organizaciones fe- ministas que protestan contra el feminicidio y otras formas de vio- lencia de género. (Pérez Villoro 8 Robles, 2020).
5. La amplificación de desinformación masiva puede fungir impu- nemente como facilitador de genocidio por su amplificación de discursos de odio, como en el caso del conflicto actual en Etiopía. (Mwai, 2021)
6. La falta de transparencia, rendición de cuentas y reparación del daño en su uso por la toma de decisiones en política pública afec- ta en su mayoría a grupos marginados. (Engler, 2021; Scheneider, 2020; Ledford, 2019)
[15] Cf. The Republic of Costa Rica, the Republic of Panama, the Republic of Peru, the Republic of the Philippines, the Republic of Sierra Leone and the Eastern Republic of Uruguay. (s. f.). [Documento de trabajo conjunto.] https://documents.unoda.org/wp- content/uploads/2021/06/Costa-Rica-Panama-Peru-the-Philippines-Sierra-Leone-and-Uruguay.pdf Muñoz, W. 8 Díaz, M. (2021). The risks of autonomous weapons: an intersectional analysis. Seguridad Humana en Latinoamérica y el Caribe. https://bit.ly/SehlacAWSBias Austrian Ministry for European and International Affairs. (2021). Safeguarding human control over autonomous weapons systems. https://bit.ly/LAWSVienna
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
7. Existen empresas que utilizan mano de obra en condiciones de empleos no dignas, en campos de refugiados y zonas periurbanas en situación de pobreza, para etiquetar imágenes utilizadas en lA. (Jones, 2021)
Un análisis feminista nos permite entonces identificar esta clara ten- dencia: las consecuencias negativas impactan de manera desproporciona- da a grupos marginalizados, especialmente del sur global; esto, al mismo tiempo que una gran parte de quienes producen la inteligencia artificial mantiene que no es necesaria ninguna regulación, pues alegan que esto impediría la innovación y limitaría la competitividad. Ante este panorama, constatamos que la inteligencia artificial puede contribuir a mantener una desigualdad que fortalece las estructuras actuales de poder y reproduce los sistemas de opresión históricos, si no se toman medidas específicas para evitarlo.
Ahora bien, en los últimos años, a nivel internacional se han desa- rrollado tendencias y narrativas que buscan promover la utilización de inte- ligencia artificial como acelerador de los Objetivos de Desarrollo Sostenible. Ejemplos de estas iniciativas incluyen Al for Goodl*8l, SDG Al LABÍ?71, |R- CAI y Global Partnership for Artificial Intelligence!*8l, cuya misión es especí- ficamente “apoyar el desarrollo y uso de inteligencia artificial tomando como
base los derechos humanos, la inclusión, la diversidad, la innovación y el
[16] https://ai4good.org/ai-for-sdgs/ [17] https://sdgailab.org/
[118] https://ircai.org
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
crecimiento económico, buscando responder a los Objetivos de Desarrollo Sostenible de Naciones Unidas”. (Benjio 8 Chatila, 2020) Estas iniciativas tienen en común el objetivo de buscar documentar y promover el uso de in- teligencia artificial en sectores específicos vinculados con los ODS, como el cambio climático y la biodiversidad, la educación y el empleo, e incluyen frecuentemente proyectos desarrollados —al menos en parte— en el norte global, e implementados en el sur global. En otras palabras, estamos ha- blando de proyectos de cooperación internacional.
En este contexto, como lo afirman Vinuesa et al. (2019), un desafío importante de los desarrollos basados en inteligencia artificial es que se basan principalmente en las necesidades y los valores de aquellos países en que se desarrolla la lA. De ahí la importancia de identificar, visibilizar, documentar, sistematizar, financiar e impulsar a las iniciativas de este tipo que son desarrolladas en los países del sur globall1?1.
Por otra parte, si bien la cooperación internacional y multilateral ha acordado principios y metodologías para implementar dicha cooperación de manera pertinente, eficaz, eficiente, sostenible y con impacto claramente documentado, las organizaciones e instituciones que desarrollan inteligen- cia artificial no necesariamente conocen y trabajan con esas metodologías. Esto es tan sorprendente como inaceptable: para contribuir al cumplimiento
de los ODS, la respuesta no puede limitarse a desarrollar una aplicación de
[19] Ver por ejemplo, en el caso de México, esta sesión sobre Inteligencia Artificial y Objetivos de Desarrollo Sostenible realizada en el marco de la Reunión Internacional de Inteligencia Artificial y sus Aplicaciones (RIIAA) en 2022:
https://www.youtube.com/watch?v=fL¡SMdo5Wik
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
IA en un sector como salud o empleo; o identificar como “beneficiarios”1201 a personas con discapacidad o mujeres en situación de pobreza. Examinare-
mos esto en mayor detalle en el siguiente apartado.
2. El bienestar social no se improvisa: medidas necesarias para garantizar que las aplicaciones de inteligencia artificial realmente con- tribuyan al cumplimiento de los ODS
Es innegable que la inteligencia artificial puede tener un impacto po- sitivo en diferentes sectores y beneficiar a personas en situación de vulne-
rabilidad y marginación!?11. Sin embargo, de acuerdo con Vinuesa et al.,
la gran riqueza impulsada por la tecnología que la inteligencia artificial tiene el potencial de crear puede ir principalmente hacia quienes ya tienen mayor educación y bienestar; mientras que el desplazamiento laboral deja a otras personas en peor situación. La creciente importancia económica de la lA puede resultar en un aumento de desigualdades debidas a la desigual distribución de
[20] Ha habido un cuestionamiento del término “beneficiarios” pues se considera que lleva una connotación paternalista que considera a las personas que participan en los proyectos como recipientes pasivos de ayuda internacional.
[211 Para ejemplos concretos, ver por ejemplo: The Future Society (2020). Areas for future action in the responsible Al ecosystem. Section 2.2 Shortlisted Initiatives. https://gpai.ai/projects/responsible-ai/areas-for-future-action-in-responsible-ai.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
la educación y de los recursos informáticos en todo el mundo. (2020, p.6) Amina Mohamed, Vice Secretaria de Naciones Unidas, lo ha
expresado también:
Por un lado, la inteligencia artificial puede permitir un progreso más rápido en muchos de los Objetivos de Desarrollo Sostenible a través de soluciones innovadoras, un uso más eficiente de los recursos y una mejor toma de decisiones a través del análisis de big data. Por otro lado, puede perpetuar sesgos y desigualdades; o incluso usarse intencionalmente para violar los derechos humanos y desarrollar aplicaciones que perjudiquen a individuos y sociedades. (UN, 2020)
¿Qué nos señalan estas afirmaciones? Nuevamente encontramos que los riesgos, daños y beneficios de la inteligencia artificial no están re- partidos de manera igualitaria: afectan más a quienes ya están marginali- zados por la pobreza y sistemas históricos de opresión como el racismo, el sexismo, el colonialismo y el capacitismo.
Cualquier proyecto que no tome medidas específicas para visibilizar y responder a esta discriminación sistémica, contribuirá a fortalecerla. Y en el caso de la inteligencia artificial, si no se toman estas medidas, las conse-
cuencias pueden ser todavía más graves por el alcance y la velocidad con
Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 62
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
las que sus aplicaciones se producen y reproducen; así como por los montos económicos extraordinarios que se están utilizando para dichos sistemas se desarrollen e implementen sin que existan estudios comparati- vos que demuestren que ese es el uso más eficaz de esos recursos.
¿Qué medidas son las que deben tomarse? Las metodologías exito- sas —por ejemplo, las políticas que buscan garantizar la igualdad de géne- ro y el acceso a derechos de personas con discapacidad— aplicadas a diferentes sectores se basan en un enfoque “de doble vía” que busca, por un lado, implementar acciones específicas para fomentar la autonomía, capacidades y conocimientos de derechos por parte de las personas perte- necientes a grupos vulnerados; y por otro, tomar medidas específicas para que los proyectos, servicios, programas y políticas públicas sean realmente inclusivos y respondan a las prioridades de todos y todasl?22l. Esto se fundamenta, también, en el principio de la Agenda 2030 “No dejar a nadie atrás”. (G5NUDS, 2020)
A partir, entonces, de dos elementos:
1. Una perspectiva feminista que nos permita reconocer que la inteli- gencia artificial replica y amplifica sesgos y afectaciones de manera
desproporcionada contra grupos marginalizados y el sur global,
[22] Sobre el enfoque de doble vía, conferir Naciones Unidas. (s. f.). Estrategia de las Naciones Unidas para la inclusión de la discapacidad. https://www.un.org/es/content/disabilitystrategy/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
2. Constatar que de acuerdo con metodologías bien establecidas y reconocidas internacionalmente, es necesario tomar acciones es- pecíficas para contribuir a los ODS bajo el principio de “No dejar a nadie atrás”, se propone que todo proyecto con aplicaciones de inteli- gencia artificial que afirme tener como objetivo contribuir al bienestar social o a los ODS debe cumplir, monitorear e informar sobre los si-
guientes estándares mínimos:
1. Establecer alianzas formales con organizaciones repre- sentativas de los grupos que se busca beneficiar. Dicha alianzas (no solo consultas) son esenciales desde una pers- pectiva de derechos humanos y para garantizar la relevancia, aceptabilidad, utilidad y sostenibilidad de cualquier proyecto, incluyendo aquellos que involucran aplicaciones de inteligencia artificial.
2. Mapear las causas del problema que se busca resolver, y las causas subyacentes (o “causas raíz”). Este mapeo (fre- cuentemente realizado en la forma de “árbol de problemas”)!231 debe ser realizado con diversos actores incluyendo a las per- sonas que se quiere beneficiar. El objetivo es entender bien la problemática y las soluciones que se requieren para responder
a ella; y dentro de ese amplio panorama, identificar con mayor
[23] Para saber más sobre esta metodología, cf.: CONEVAL. Boletín de Monitoreo: Elaboración de árbol de problemas y árbol de objetivos. https://www.coneval.org.mx/Informes/boletin_coneval/boletin_monitoreo_01_2013/nota3.html
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
64
65
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
[24]
precisión si se requiere o no una solución que involucre lA; además de cómo vincular con otras iniciativas y actores que ya están buscando responder a los mismos problemas. Es fundamental que este sea un análisis realizado de ma- nera profesional y con los actores relevantes de sociedad civil y autoridades responsables, de manera que se analice honestamente si realmente es necesaria una aplicación de lA, a quién beneficiaría y a quién afectaría su utilización y si los recursos disponibles tendrían mayor impacto y sosteni- bilidad siendo destinados a otros programas.!241
3. Aplicar un enfoque de derechos humanos. Este ele- mento involucra acciones en diferentes aspectos; se resal- tan dos elementos fundamentales (UNSDG, 2003):
a. La narrativa y documentación del proyecto identifica claramente los derechos humanos relacionados con la temática que se trabaja en instrumentos jurídicamente vinculantes a nivel nacional e internacional, y se busca cumplir con sus principios en la práctica;
Con ello se busca prevenir situaciones como esta: en 2012 se realizaron consultas en comunidades camboyanas en situación de extrema pobreza para determinar qué sectores identificaban como prioridades para recibir inversión extranjera de una organización multilateral. Al contrastar con sorpresa que todas nombran a las autopistas como prioridad número uno e inquirir al respecto, líderes comunitarios respondieron que se habían puesto de acuerdo con antelación ya que la institución cooperante solo financiaría infraestructura de ese tipo. Es decir, si realmente hubiera indicado sus prioridades —salud materno-infantil, prevención de la desnutrición, drenaje en los hogares y educación de calidad- no hubieran recibido apoyo. Esto es un ejemplo de donantes que buscan imponer sus agendas, no realmente apoyar a las comunidades en sus propios procesos y proyectos. Fuente: Experiencia propia de la autora.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
b. Se identifica y menciona explícitamente quiénes son titulares de derechos y de obligaciones del sector en el que se está trabajando.
4. Vincular con la Agenda 2030 a nivel nacional/local. Los proyectos que incorporen lA con el objetivo de contri- buir a los ODS deben estar articulados con las instancias responsables de implementar y monitorear dicha agenda en diferentes sectores. Esto, con el fin de garantizar que dichos proyectos realmente respondan a las prioridades a nivel nacional, que están coordinados con otras instancias e iniciativas para responder a los mismos desafíos y que sus resultados se contabilizan de acuerdo con las metas e indicadores establecidos en cada país.
5. Planificar, diseñar, implementar, monitorear y evaluar los proyectos que utilizan sistemas de lA con las organiza- ciones representativas de los grupos que se busca beneficiar.
6. Incluir indicadores de derechos humanos en sus pla- nes de monitoreo y evaluación. Dichos indicadores deben de ser definidos y acordados sobre la base de derechos
humanos y de manera participativa. (ACNUDH, 2012)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
67
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
7. Aplicar una perspectiva de género, como lo requiere, también, la Recomendación de la Ética en Inteligencia Artificial de la UNESCO (UNESCO, 2021) e interseccional- idad!?81 que involucre, de acuerdo con el enfoque de doble vía:
a. Tomar iniciativas específicas para garantizar que mujeres, personas de diferente orientaciones sexuales e identidades de género, diferentes grupos etarios y otras características conozcan sus derechos y tengan la información, recursos y habilidades necesarias para beneficiar del proyecto con aplicaciones de lA.
b. Asegurarse de que todas las iniciativas, actividades, sistemas del proyecto que incluye lA son diseñadas, implementadas y evaluadas con la participación de mu- jeres, personas de diferentes orientaciones sexuales e identidades de género y otras características diversas, y tomando en consideración sus prioridades.
Entre las organizaciones representativas se encuentran las de mujeres, personas con discapacidad, afrodescendi- entes, pueblos originarios, migrantes, personas viviendo
con VIH, personas con diversas orientaciones sexuales e
[25] Término acuñado por Kimberly Crenshaw. Sobre interseccionalidad, ver por ejemplo: Asociación para los Derechos de la Mujer y el Desarrollo. (2004). Interseccionalidad: una herramienta para la justicia de género y la justicia económica. Derechos de las mujeres y cambio económico, Núm. 9. https://www.awid.org/sites/default/files/atoms/files/nterseccionalidad__una_herramienta_para_la_justicia_de_genero_y_la_justicia_econ omica.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
identidades de género, víctimas de conflictos y poblaciones zonas rurales y remotas, entre otras.
8. Desarrollar un plan de sostenibilidad que incorpore acciones y designe recursos específicos a lo largo del proyecto con el objetivo de garantizar que este podrá con- tinuar después de la intervención externa, o al menos quedarán habilidades y recursos instalados para evitar que se cree dependencia del apoyo externo. Esto puede incluir el desarrollo de capacidades de los actores locales para implementar un proyecto similar y apoyo para identificar recursos económicos para su continuación, incluyendo la movilización de recursos nacionales. Esto es fundamental para diferenciarse de proyectos con aplicaciones de lA autollamados “para el bienestar social” cuyo objetivo prin- cipal es en realidad buscan comercializar sus propios pro- ductos en el sur global y fomentar una dependencia de productos del exterior.
9. Analizar el impacto en el medio ambiente y tomar me- didas para mitigarlo.
10. Establecer medidas de salvaguardia y protección con el objetivo de proteger a la población beneficiaria de posible acoso y abuso sexual. (OXFAM, s.f; CARE, 2022) 11. Repartir los recursos de forma equitativa de tal ma- nera que se reconozcan también económicamente las con- tribuciones del sur global y sus organizaciones. De no
hacerlo, se perpetúa la desigualdad al mantener a quienes
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
69
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
participan en los proyectos como simples “beneficiarios”, mientras la mayor parte de los recursos e ingresos de di-
chos proyectos se mantienen en el norte global.
Por otra parte, considerando que algunos proyectos con aplicaciones de “inteligencia artificial para el bienestar social” provienen del norte global (donde se produce la mayor parte de la tecnología) y se implementan en sur global (donde se implementan los proyectos), conviene también analizar la temática desde una perspectiva de política exterior feminista.
De acuerdo con el Centro de Política Exterior Feminista (CFFP, 2022) una política exterior feminista puede definirse como “un marco políti- co centrado en el bienestar de las personas marginadas que busca lanzar procesos de autorreflexión con respecto a los sistemas globales jerárquicos de política exterior desde el punto de vista de grupos históricamente margi- nados.” Este mismo Centro afirma que una política exterior feminista
permite:
elevar las experiencias y la agencia de las mujeres y los grupos marginalizados para examinar las fuerzas destructivas del patriarcado, la coloniza- ción, la heteronormatividad, el capitalismo, el ra- cismo, el imperialismo y el militarismo. Un enfoque feminista de la política exterior proporciona una lente poderosa a través de la cual podemos inter- rogar los violentos sistemas globales de poder que dejan a millones de personas en estados perpetu- os de vulnerabilidad. (CFFP, 2022)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
Desde esta perspectiva, podemos cuestionar las prioridades de quienes desarrollan inteligencia artificial en el norte global “para el bienestar social”. ¿Qué sistemas de poder se fortalecen cuando se asignan cantida- des millonarias de recursos (públicos o privados) a instituciones del norte global desarrolladoras de inteligencia artificial, bajo pretexto de que son para el "bienestar social", cuando estas no incorporan las mínimas buenas prácticas y metodologías mencionadas anteriormente, que son fundamen- tales si realmente se busca cambiar la balanza de poder hacia un mundo más equitativo?
¿Es la inversión en desarrollos de inteligencia artificial piloteados por el norte global la mejor utilización de recursos para promover el bienestar social de quienes siguen viviendo hoy en día bajo diversas opresiones?
La cooperación internacional es fundamental y ha impulsando un sinnúmero de proyectos y avances alrededor del mundo -— pero esta solo es significativa cuando cumple con los criterios enumerados anteriormente y cuestiona claramente los sistemas de opresión en que se desenvuelve.
Por estas razones y muchas otras, es fundamental cuestionar las narrativas de inteligencia artificial para “el bienestar social” desde una crítica feminista: debemos impedir que se sigan perpetuando los sistemas de opresión, incluyendo aquellas utilizaciones de inteligencia artificial que lo hacen sólo de nombre con el fin de contribuir al bienestar social y los
Objetivos de Desarrollo Sostenible.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Conclusiones
Al permitir que aplicaciones de la IA se autonombren como “lA para los ODS” sin exigir criterios mínimos de calidad ya establecidos como fun- damentales para cumplir con la Agenda 2030, se perpetúa la desigualdad sistémica entre quienes producen tecnología de punta (principalmente, una minoría con privilegios) y quienes la reciben (mayoría históricamente mar- ginalizada, incluyendo la mayoría del sur global). Esto fortalece, también, la noción de que estos últimos no somos más que beneficiarios de soluciones desarrolladas por terceros, en lugar de reconocer que somos actores de nuestro propio bienestar; y nuestros Estados son los titulares de obligacio- nes para garantizar nuestros derechos.
Un acercamiento feminista al tema nos permite identificar y constatar estos desafíos, lo cual, aunado a un conocimiento de las metodologías concretas para mejorar la calidad de vida y verdadero acceso a derechos en igualdad de condiciones, nos puede llevar realmente a desarrollar siste- mas y aplicaciones de inteligencia artificial que respondan verdaderamente a nuestras prioridades y necesidades. Es necesario trabajar desde estas dos perspectivas para proponer respuestas concretas que busquen y logren que la inteligencia artificial realmente sea una herramienta no solo para el bienestar, sino para la implementación de los derechos humanos de quie- nes han vivido y siguen viviendo en la exclusión y la opresión.
Necesitamos conocer y difundir nuestros derechos y desarrollar la agencia necesaria para poner nuestras propias reglas y parámetros y exigir rendición de cuentas -y en su caso, reparación del daño- de quienes desa- rrollan e implementan aplicaciones inteligencia artificial, ya sea en el sector
académico, público o privado; tanto en el norte como el sur global.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
Esto requiere acciones clave como divulgar información sobre derechos humanos y digitales ante la población en general; movilizar a organizaciones feministas y de derechos humanos en estos temas; y desa- rrollar legislación y estrategias nacionales digitales. También requiere que los organismos internacionales y de Naciones Unidas tomen conciencia de estos desafíos y no promuevan el uso de aplicaciones de inteligencia artifi- cial que solo contribuyen a los ODS en su discurso, contraviniendo las buenas prácticas y los principios que han sido desarrollados por esos mismos organismos internacionales y el andamiaje internacional de los de- rechos humanos.
Finalmente, no permitamos que la inteligencia artificial se presente como la panacea. El Sur Global no quiere y no necesita ser “un proyecto” más, tampoco necesitamos caridad ni buenas intenciones; sino igualdad de género, justicia social, económica y medioambiental a nivel nacional y en el sistema internacional. Los millones que se invierten en inteligencia artificial “para los ODS” podrían hacer cambios extraordinarios en organizaciones de base, que en la mayor parte de los casos no requieren soluciones de in- teligencia artificial como prioridad- eso sí sería una innovación y un desafío
a los sistemas que perpetúan la desigualdad a diferentes niveles.!?€l
[26] Un ejemplo es el caso de una organización productora de inteligencia artificial que al ofrecer sus soluciones a una organización local, se percató —a través de un diálogo sustantivo que es ejemplo buena práctica— de que lo que la organización local requería era aprendizaje del uso de tablas en Excel y optimizar su conocimiento de Word, no inteligencia artificial; y se la acompañó en sus necesidades específicas. La entrevista completa de Luciana Benotti a Sasha Luccioni está disponible en: Fundación Vía Libre. (2021). Inteligencia artificial para el bien ¿de quién? / Who benefits from Al for Good? [Video]. https://www.youtube.com/watch?v=TYaoiLVE3vY
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
73
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
El camino es largo, pero herramientas como la Recomendación de la UNESCO sobre la ética de la inteligencia artificiall271 e iniciativas como la Red de Investigación sobre Inteligencia Artificial Feminista son excelentes vías, recursos e indicadores de que vamos por el camino correcto: otra for-
ma de concebir e implementar la inteligencia artificial es posible.
RECOMENDACIONES
o A personas e instituciones desarrolladoras de inteligencia artificial que tengan como objetivo contribuir al bienestar social y los ODS, se recomienda crear alianzas con organizaciones representativas de grupos marginados y capacitarse en metodologías para implementar proyectos en diferentes sectores promoviendo los derechos humanos, la igualdad de
género y la justicia social, tal y como lo demanda la Agenda 2030.
o A las instancias gubernamentales, se recomienda capacitarse en in- teligencia artificial desde una perspectiva de derechos humanos e igual- dad de género, desarrollar legislación, establecer estrategias e impulsar diálogos inclusivos a nivel nacional que incluyan la sociedad civil y gru- pos representativos, y que permitan garantizar que la inteligencia artifi- cial se va a desarrollar, monitorear y evaluar acorde con los derechos humanos y las prioridades nacionales, poniendo en el centro a las po- blaciones marginadas de acuerdo con el principio de “No dejar a nadie
atrás”.
[27] https://es.unesco.org/artificial-intelligence/ethics
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
o A la sociedad civil, en particular organizaciones feministas, defen- soras de derechos humanos y organizaciones representativas de grupos marginados, se recomienda informarse sobre los desafíos a de- rechos humanos que representa la inteligencia artificial, exigir diálogos con las instituciones que la desarrollan e instituciones gubernamentales relevantes para garantizar que la inteligencia artificial no se utilice en maneras que contravengan nuestros derechos humanos o avancen agendas internacionales a costa del propio bienestar de la población del
sur global.
o A organismos internacionales, de Naciones Unidas y agencias de cooperación, se recomienda adoptar una mirada crítica ante las aplica- ciones de lA “para los ODS” y exigir que dichos proyectos implementen, por un parte, los mismos estándares que se exigen a todo proyecto de cooperación internacional; y por otra parte, tomen medidas específicas como son aquellas necesarias para obtener el consentimiento libre e informado, garantías al derecho a la privacidad y medidas de reparación
del daño por uso de lA, en caso de haberlo.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
REFERENCIAS
Al for Good. (s.f.). Al + sustainable development goals. https://ai4good.org/ai-for-sdgs/
Austrian Ministry for European and International Affairs. (2021). Safeguarding human control over autonomous weapons systems. https://eventmaker.at/bmeia/laws_conference_2021/streaming.html
Benjio, Y. 8, Chatila, R. (2020). An introduction to the Global Partnership on Al's work on responsible Al. Al Policy Observatory. Organización para la Cooperación y el Desarrollo Económicos. https://oecd.ai/en/wonk/an-introduction-to-the-global-partnership-on-ais-work-on-responsible-ai
Buolamwini, J. 8 Gebru, T. (s.f.). Gender shades. Algorithmic Justice League Project - MIT MediaLab. http://gendershades.org/index.html
Cooperative for Assistance and Relief Everywhere. (2022). Política de salvaguardia de CARE International: Protección contra el acoso sexual, la explotación y abuso y el abuso infantil. https://www.careinternational.org/files/files/CARE%20International/20Safeguarding%20Policy %20effective%2015%20AprilY202020%20Spanish(1).pdf
Centre for Feminist Foreign Policy. (s.f.). Feminist foreign policy. https://centreforfeministforeignpolicy.org/feminist-foreign-policy
Engler, A. (12 de marzo de 2021). Auditing employment algorithms for discrimination. Center for Technology Innovation. Brookings. https://www.brookings.edu/research/auditing-employment-algorithms-for-discrimination/
Fundación Vía Libre. (2021). Inteligencia artificial para el bien ¿de quién? / Who benefits from Al for Good? [Youtube]. https://www.youtube.com/watch?v=TYaoiLVE3vY
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Gebru, T. (2020). Google and big tech are 'institutionally racist'. BBC News. https://www.bbc.com/news/technology-55281862
Grupo de las Naciones Unidas para el Desarrollo Sostenible. (2020). No dejar a nadie atrás: Una guía operativa del Grupo de las Naciones Unidas para el Desarrollo Sostenible para los equipos de las Naciones Unidas en los países. [Informe técnico.] https://unsdg.un.org/es/resources/no-dejar-nadie-atras-una-guia-operativa-del-grupo-de-las- naciones-unidas-para-el
Hao, K. (17 de junio de 2020). Visionaries. Technology Review. Massachusetts Institute of Technology. https://www.technologyreview.com/innovator/inioluwa-deborah-raji/
International Data Corporation. (17 de marzo de 2022). Spending on artificial intelligence solutions will double in the United States by 2025, according to a new IDC spending guide. IDC. www.idc.com/getdoc.jsp?containerld=prUS48958822
International Research Centre of Artificial Intelligence. https://ircai.org
Jones, P. (22 de septiembre de 2021). Refugees help power machine learning advances at Microsoft, Facebook, and Amazon. Rest of world. htips://restofworld.org/2021/refugees-machine-learning-big-tech/
Ledford, H. (2019). Millions of black people affected by racial bias in health-care algorithms. Nature. https://www.nature.com/articles/d41586-019-03228-6
Mwai, P. (25 de marzo de 2021). Tigray conflict: The fake UN diplomat and other misleading stories. BBC News. https://www.bbc.com/news/56456535
Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 76
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Millán, M. (2019). Feminismos emergentes: descolonización y crisis civilizatoria. En Ribeiro, C. 8 Monte, M. A. (Eds.) Feminismos descoloniais e outros escritos feministas, pp. 229-246. Expressáo Gráfica e Editora.
Muñoz, W. 8 Díaz, M. (2021). The risks of autonomous weapons: An intersectional analysis. Seguridad Humana en Latinoamérica y el Caribe. https://bit.ly/SehlacAWSBias
Organización para la Cooperación y el Desarrollo Económicos. (2019). Mejores criterios para una mejor evaluación. Definiciones revisadas de los criterios de evaluación y principios para su utilización. https://www.oecd.org/development/evaluation/Criterios-evaluacion-ES.pdf
Oficina del Alto Comisionado de las Naciones Unidas para los Derechos Humanos. (2012). Indicadores de derechos humanos. Guía para la medición y la aplicación. https: //www.ohchr.org/documents/publications/numan_rights_indicators_sp.pdf
Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. (2021). Recomendación sobre la ética de la inteligencia artificial. https://unesdoc.unesco.org/ark:/48223/pf0000380455_spa
OXFAM International. (s.f.). Políticas de prevención y salvaguardia. https://www.oxfam.org/es/que-hacemos/quienes-somos/politicas-de-prevencion-y-salvaguardia
Pérez Villoro, F. y Robles P. (11 de noviembre de 2020). Vigilancia biométrica: el tortuoso camino de Coahuila al reconocimiento facial. Expansión Política. https://politica.expansion.mx/estados/2020/11/11/vigilancia-biometrica-el-tortuoso-camino-de- coahuila-al-reconocimiento-facial
Scheneider, V. (2020). Locked out by big data: How big data, algorithms and machine learning may undermine housing justice. Columbia Human Rights Law Review. http://blogs.law.columbia.edu/hrir/files/2020/11/251_Schneider.paf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia Artificial para el cumplimiento de los Objetivos de Desarrollo Sostenible: crítica desde una perspectiva feminista latinoamericana
SDG Al LAB. (s. f.). Harnessing the potential of artificial intelligence for sustainable development. https://sdgailab.org/
The Future Society. (2020). Areas for future action in the responsible Al ecosystem. https://gpai.ai/projects/responsible-ai/areas-for-future-action-in-responsible-ai.pdf
The Republic of Costa Rica, the Republic of Panama, the Republic of Peru, the Republic of the Philippines, the Republic of Sierra Leone and the Eastern Republic of Uruguay. (s. f.). [Documento de trabajo conjunto.] https://documents.unoda.org/wp-content/uploads/2021/06/Costa-Rica-Panama-Peru-the- Philippines-Sierra-Leone-and-Uruguay.pdf
UNESCO. (s. f.). Los Objetivos del Desarrollo Sostenible: qué son y cómo alcanzarlos. Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura. https://www.un.org/sustainabledevelopment/es/development-agenda/
United Nations. (2020). “Powerful technologies must be guided by human values, solidarity, intelligence”, deputy secretary-general tells event on advancing global goals with Al. https://www.un.org/press/en/2020/dsgsm1455.doc.htm
United Nations Sustainable Development Group. (2003). The human rights based approach to development cooperation towards a common understanding among UN agencies. https://unsdg.un.org/resources/human-rights-based-approach-development-cooperation- towards-common-understanding-among-un
Venema, A. E. (4 de noviembre de 2020). Deepfakes as a security issue: Why gender matters. Women in International Security. https://wiisglobal.org/deepfakes-as-a-security-issue-why-gender-matters/
Vinuesa, R., Azizpour, H., Leite, |. et al. (2020). The role of artificial intelligence in achieving the Sustainable Development Goals. Nature communications, 11(1), 1-10, p. 233. https://www.nature.com/articles/s41467-019-14108-y
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y
latinoamericana Virginia Brussa
Universidad Nacional de Rosario Argentina
Detrás de la pregunta “qué es una lA feminista” es interesante indagar su impacto frente a las meta-narrativas promulgadas por personas escépticas y utópicas que llevan décadas permeando los debates acerca de la tecno- logía (Morozov, 2013), la democracia (Risse, 2021) y ahora de la lA (Katz, 2020).
Las desconexiones, desacoples, hegemonías que promueven las me- ta-narrativas sobre lA obstaculizan propuestas alternativas desde las cuáles visibilizar las oportunidades y riesgos a nivel regional. El presente está “ses- gado” no cabe duda, por ello potenciar desde una agenda de lA feminista re- gional un movimiento alternativo crítico que alerte sobre un “bias washing” en el horizonte es clave.
Encarar la gobernanza de datos (públicos) urgida por la urgencia de la algoritmización reviste para y por esta agenda una vital importancia para su- marla a esa propuesta alternativa. Por otro lado, la ciencia de datos aporta su
cuota de discusión al calor de los planteos sobre la privacidad, la rendición de
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
cuentas, la transformación digital, el data sharing, la diplomacia de la CTI, la cooperación digital y, por supuesto, la apertura. Una ciencia de datos que cree modelos éticos e inclusivos por diseño, que impulse algoritmos públicos, así como protocolos que respondan a las desigualdades en la recolección de datos, es consecuente con las necesidades actuales.
En este texto, partimos de un breve recorrido sobre gobernanza de datos de interés público y por las preocupaciones ligadas a la lA feminista para sumar los aportes interrelacionados entre ciencia de datos, gobierno abierto y participación. Dicha dimensión habilita dos posibles espacios de in- cidencia para la agenda: los planes de acción de gobierno abierto y la inte- gración de las infraestructuras digitales. Finalmente, con el propósito de abrir conversacionesl?8l, comparto algunas ideas para explorar los espacios e in-
tegrar las agendas.
HACIA UNA lA SITUADA
La inteligencia artificial vene compitiendo con otros términos en el po- dio de las “buzzwords”. A diferencia de otras como innovación, cambio o transformación (y más aún en lo digital) puede no quedar simplemente en el ámbito discursivo, sino afectar el plano de la materialización de toma de de-
cisiones públicas mediadas por algoritmos. (Levy et al., 2021)
[28] Conversaciones que son parte de entrevistas realizadas a Selene Yang (CR), Paola Ricaurte (MX), Verónica Xardez (ARG). María Paz Hermosilla (CHI) y Marianna Martinez (ES)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
Haciendo una breve entrada a la biblioteca digital de Naciones Unidas por órgano, ya encontramos desde la década de los ochenta mención a la IA como automatización de procesos, pasando por el énfasis en el sistema es- tadístico, luego por los temas de privacidad, desarme, hasta ética. El anclaje proviene de documentos de la Asamblea General, el ECOSOC, Secretaría y últimamente de los órganos de derechos humanosl??*1. Tal vez más reconoci- dos sean los reportes y guías realizados bajo el PNUD y UNESCO sobre lA, ética, educación. Por otra parte, la lA al interior de la comunidad internacional ha recorrido el camino singular de los grandes datos, la ciencia de datos a instancias de las distintas estrategias impulsadas por los dos últimos Secre- tarios Generales, uno para dar cuenta de la importancia para el sector huma- nitario, el último a raíz del otro pilar: el desarrollo. Si bien la lA ha estado presente en las decisiones y reportes de los principales órganos, el mayor impulso lo obtiene de los organismos y organizaciones creadas en la fase de recolección de datos, tecnologías para su obtención y análisis y finalmente su gobernanza global. De allí que surja también la Oficina del Enviado para la Tecnologíal*% dependiente de la SG la cual debe coordinar la Hoja de Ruta
de la Cooperación Digital.
[29] Los órganos de derechos humanos de la estructura supranacional son la Oficina del Alto Comisionado para los Derechos Humanos , los Órganos creados en virtud de Tratados (Comité de Derechos Humanos-Comité de Derechos Económicos, Sociales y Culturales- Comité para la Eliminación de la Discriminación Racial - Comité para la Eliminación de la Discriminación contra la Mujer-Comité contra la Tortura -Comité de los Derechos del Niño- Comité de Protección de los Derechos de Todos los Trabajadores Migratorios y de sus Familiares - Comité sobre los Derechos de las Personas con Discapacidad-Comité contra la Desaparición Forzada - Instrumento de derechos humanos , los órganos de Derechos Humanos basados en la Carta de las Naciones Unidas, Consejo de Derechos Humanos y Comisión de Derechos Humanos. De esta lista tan extenso, sólo algunos trabajan el tema lA en particular.
[30] Ver https://www.un.org/techenvoy/es
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
La hoja de ruta contiene como una de sus acciones apoyar la coope- ración mundial en materia de inteligencia artificial, mencionando también el impacto de la tecnología en cuestiones ambientales y riesgos de ciberseguri- dad. Puede resultar interesante también aludir a los puntos 24 y 25 del docu-
mento donde se describe los siguiente:
Están surgiendo varias plataformas de bienes públicos digi- tales de ese tipo, entre las que cabe destacar la Alianza de Bienes Públicos Digitales, iniciativa de múltiples interesados que responde directamente a la falta de una plataforma de referencia, aspecto destacado por el Panel en su informe. La labor de la Alianza se complementa con otras iniciativas, como el Marco Mundial de Acceso a Datos, cuyo objetivo es desarrollar infraestructuras técni- cas que permitan y amplíen el intercambio de datos en todas las modalidades para acelerar los procesos de creación de bienes pú- blicos digitales de calidad. Esas iniciativas son decisivas para el desarrollo de normas comunes sobre datos abiertos que orienten a los sectores público y privado sobre cómo proporcionar acceso abierto a los conjuntos de datos, a fin de garantizar que más datos pasen a ser bienes públicos digitales, respetando al mismo tiempo la privacidad y la confidencialidad. Un aspecto decisivo para la im- plantación de bienes públicos digitales es contar con marcos de derechos humanos y gobernanza rigurosos que fomenten la confianza en la tecnología y el uso de los datos, garantizando asi- mismo la inclusión. (NNUU, 2020; p.8)
Y luego podemos citar respecto a la lA el punto 55:
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
82
83
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
A pesar de que el interés por la inteligencia artificial es abrumador (la recomendación del Panel generó cientos de res- puestas), existe un déficit de coordinación, colaboración y gober- nanza internacional. Las cuestiones relacionadas con la inteligencia artificial que el Panel ha destacado constituyen impor- tantes esferas de colaboración, en particular, su recomendación de que “Las decisiones de vida o muerte no deben delegarse a las máquinas”, que concuerda con el llamamiento del Secretario Ge- neral a la prohibición mundial de los sistemas de armas autóno- mos letales. Los estados miembros se han ocupado de este asunto en el contexto de su participación en la Convención sobre Prohibiciones o Restricciones del Empleo de Ciertas Armas Con- vencionales que Puedan Considerarse Excesivamente Nocivas O
de Efectos Indiscriminados. (pp.14-15)
Finalmente, y como elementos para complementar los desafíos
planteados por otros informes o trabajos realizados por OCDE, CE- PALI21, OEA, SEGIBI, UEB51 y organizaciones como ILDAÉl, BIDIS o
Derechos Digitalesi38l entre otros, hay tres retos que el texto de Naciones
131
[32] [83]
[34
[85]
136 [37
[88]
Ver https://www.oecd.org/sti/ieconomy/enhanced-data-access.htm y https: //www.oecd.org/digital/artificial-intelligence/
Ver https://www.cepal.org/es/notas/cumbre-inteligencia-artificial-america-latina
Ver https: //www.youtube.com/watch?v=zbHfEFYswSO
Ver https://www.segib.org/wp-content/uploads/Declaracion-IV-RMCTI_ES.paf
Ver entre otros textos https://www.eipa.eu/publications/briefing/the-artificial-intelligence-act-proposal-and-its-implications-for-member-states/ Ver Proyecto Empatía https://www.empatia.la/
Ver https://publications.iadb.org/es/uso-responsable-de-ia-para-politica-publica-manual-de-formulacion-de-proyectos Ver Informe
https://ia.derechosdigitales.org/wp-content/uploads/2021/03/CPC_informeComparado.paf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
Unidas precisa: 1) la falta de inclusión y representación en los debates glo- bales; 2) la necesidad de una plataforma global que coordine esas iniciati- vas, ante la existencia de más de 160 series institucionales de ética y gobernanza de lA; y por último, 3) la falta de capacidad y conocimiento del sector público en la temática.
Esta mínima referencia de contexto a título instrumental, que no revis- te análisis valorativo de su legitimidad o representatividad a los fines regio- nales, da cuenta de varias cuestiones que vamos a desarrollar luego. Pero no sin antes señalar que, como palabra de moda, la lA puede parecer abs- tracta y compleja pero, materialmente, de un momento a otro los mecanis- mos normativos necesitarán contar con una masa crítica para su localización a nivel nacional, subnacional y local. Y en ese proceso la agenda feminista de lA, los aspectos ambientales, discusiones amplias para los marcos de go-
bernanza y las alfabetizaciones digitales son y serán un recurso importante.
De gobernanza y ciencia de datos: aportes para otros planes e infraestructuras
El giro desde gobierno a gobernanza, como bien Innerarity (2011) lo mencionara como concepto y praxis para la renovación de la política, se ins- tala también para los datos y seguidamente para la inteligencia artificial. De
interés entonces será la gobernanza de datos públicosiB9 y sus marcos
[89] Otras discusiones son útiles en el marco de mecanismos de cooperación y colaboración constituidos como los programas de colaboración para el intercambio de datos, los bazares de datos y las cooperativas de datos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
afines. Si bien desde la usina de recomendaciones de la OCDE encontrare- mos muchas concepciones sobre gobernanza pública (2019) en el contexto de la transformación y economía digital, o desde la Alianza Global de Gobierno Abierto, vamos a hacer mención a algunas ideas compartidas desde Mozilla y otras organizaciones regionales de forma tal de contar con elementos afines para desandar la gobernanza de la lA situada.
Cabe mencionar que este texto no tiene por objetivo dar cuenta del estado del arte de la gobernanza de datos o lA en América Latina, pero sí partir de conceptos orientadores abrir el debate sobre dos instancias futuras de investigación acción de la lA feminista en estos territorios: la gobernanza de |A en el contexto de los Planes de Acción de gobierno abierto (local) y las infraestructuras digitales de participación. En ambos, la ciencia de datos co- mo herramienta tiene algo que decir y más aún cuando todavía hay deficien- cias en políticas sobre dicha gobernanza de datos.!*0
Anouk Ruhaak (2021) hace un replanteamiento muy útil a la hora de pensar qué nos estamos perdiendo entre toda la montaña de normativas so- bre gobernanza dada la agencia colectiva de los datos. Retoma por tanto los niveles de participación propuestos por Arnstein (1969) para poner de mani- fiesto que actualmente nos encontramos en una zona media de tokenización. Es decir, con suerte se informa sobre el uso de tus datos. Eso nos plantea
dos niveles de interrogantes: ¿Qué impacto tienen todas esas normativas?
[40] En ese sentido, en la región podrá ser sensible monitorear las implementaciones de las normativas sobre gobernanza de datos, su actualización y sus brechas para dar mayor anclaje a las tecnologías, capacidades y necesidades implicadas en la lA que tengan impacto en el sector público.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
¿Cómo se implementan? ¿Qué se está olvidando incluir al calor de la “ur- gencia” legislativa? Y tal como plantea Ruhaak, ¿qué grado de participación es necesaria para una gobernanza futura que nos incluya, una que además sea ética e inclusiva?
Siguiendo ese camino abierto, Fabrizio Scrollini desde ILDA (2022) repara en los procesos de recolección de datos estadísticos y cómo incluir otras fuentes a los procesos ya institucionalizados de los centros nacionales de estadísticas. Ese es un punto clave, ya que nos da el marco para poner en diálogo a la ciencia de datos!*1l como herramienta para facilitar informa- ción para la toma de decisiones basadas en los conjuntos de datos públicos disponibles. En consecuencia, los procesos de recolección, los modelos, las alianzas entre las personas productoras de datos y las personas científicas de datos conformarán uno de los eslabones en esta búsqueda de una go- bernanza inclusiva de datos e lA. Identificando y visibilizando brechas en los datos existentes, las preguntas para mejorar la evidencia en políticas públi- cas podrán ser parte de la cadena de incidencia necesaria para pensar las políticas sobre gobernanza de la lA feminista.
En la práctica, al ir priorizando problemasl*2l con base en los sistemas de datos disponibles, las alertas sobre la falta de datos o problemas de ma-
duración de los mismos son detectados en momentos iniciales. Proyectos de
Tener en consideración los conceptos sobre ciencia de datos e inteligencia artificial. Por ejemplo, siguiendo el Glosario confeccionado por el GobLab UAI. Ver https://goblab.uai.cl/wp-content/uploads/2020/04/Glosario-de-conceptos-Ciencia-de-Datos.pdf
[41
[42
También podrá ser de interés para la agenda feminista de lA revisar guías o recomendaciones surgidas en la región sobre diseños responsables de proyectos de ciencia de datos para aportar desde la agenda feminista principios que sumen a ese diseño responsable.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
ciencia de datos e lA como corolario de políticas públicas con perspectiva fe- minista serán por ende menores, no por desigualdades en la conformación de equipos o sus capacidades, sino por la invisibilización estructural de temáticas de interés en los programas de apertura de datos. Entre las entre- vistadas se destaca la relevancia de revisar los procesos intrínsecos a los modelos de recolección actuales para gestar un ecosistema maduro y estan- darizado de datos. El tema va más allá de contar con datos desagregados, ya que en ocasiones incluso esos datos no habilitan siquiera a problematizar por ejemplo una agenda feminista para el cambio climático. Tampoco es cuestión de contar con grandes datos: pequeños datos pertinentes y oportu- nos acompañados de una buena pregunta y la adecuada técnica pueden ser
el impulso inicial para acciones que fomenten la justicia de datos.
¿Qué gobernanza habilita el gobierno abierto?
El explorador de compromisos derivados de los Planes de Acción de los países (y ciudades) pertenecientes a la Alianza para el Gobierno Abierto permite analizar ocho años (2011-2018) de información. Si observamos los términos asociados a cada plan, surgen algunos cruces interesantes para profundizar con las tendencias actuales.
Una de las etiquetas utilizadas para describir las temáticas trabajadas por los compromisos es “género”. Agrupando los países y ciudades que con- tienen a dicho término se percibe el escaso peso del tema en general: 2.10% del total de los compromisos. Sin embargo, para nuestra agenda es suma- mente relevante ya que el 50% de esos compromisos pertenecen a América
Latina. La región le ofrece su impronta a la temática, por peso y por connota-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
ción de los tópicos con los cuales “género” se relaciona.
Los datos totales y globales (Tabla 1) visibilizan los temas con los cuales los compromisos sobre género se han relacionado a lo largo de los últimos años. Se afirma la situación de vulnerabilidad y las desigualdades en temas de participación, datos abiertos, servicios públicos, políticas digitales. Por otro lado, cuestiones de justicia, ambientales, DDHH o educación pare- cen no ser identificadas como importantes en la agenda de género de go- bierno abierto.
Tabla 1
Co-ocurrencias etiqueta Género - Compromisos OGP
80 60 40 20 [0] EEN E EE SN ERE £23825305 8522528203852 8£3850893823807% 3533323 25 == Sus uo £ 2-3 5 2 233553 v>353d4dscr230235E£2E02035 Ss29338 0 D Di = SoDo> 5Scocen DO Oz ..o o o SE Egos%5,.2 DOÓ5 5350 >0058g8 832323>382 2% 3>EES3S 2E2353U8 2 E S0 56 43 3 c526$p 5] Les eses 28 5 Se ¿Oo S3%r 3 E 02 SE gg 3 2 5 20 x ¿2 .. > 28 la] a 179) E] o ono O 3 = o <= o oo 5 2 o 15) [2] S pp R=] E ce ro 3 S S o E 2 oO [aa]
Fuente: OGP Explorer https://www.opengovpartnership.org/explorer/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
88
89
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
La tríada vulnerabilidad, participación y “transformación digital” ligada a temáticas sobre género avala la pertinencia de incidir desde el ecosistema de la AGA por una agenda de lA inclusiva y feminista por varias razones:
1. Los planes subsiguientes al 2018 dan cuenta de un aumento de los países que incorporan compromisos relacionados a las problemáticas de “género” (algunos explicitando proyectos para mujeres y niñas) pas- ando de ochenta y uno (81) según los datos aquí analizados a ciento cuarenta y cuatro (144) (Gender OGP, 2021). También su desempeño es realmente destacable en relación con su impacto en las políticas de gobierno abierto y su temprana concreción frente a los compromisos que incluyen a otras poblaciones vulnerables identificadas por AGA.
2. Otra de las publicaciones de avances de las políticas de gobierno abierto es el de Gobernanza digital. (DG OGP, 2021) Ha sido la se- gunda área de política de más rápido crecimiento dado el uso de al- goritmos e lA por los gobiernos de la alianza según dicho relevamiento. Protección de derechos y rendición de cuentas son las acciones inherentes a los marcos de gobernanza propuestos pero ciertamente padecen cierta debilidad en su implementación.
3. Aunar en el esquema de acciones por la coordinación democrática de los datos (ILDA, 2022) la resignificación de los portales. Según Davis, sería pensar en futuros portales de datos como data hubs de gobernanza (2021) de forma de orientar marcos temáticosi%ól y aprovechar las infraestructuras existentes para incluir secciones de algoritmos públicos como políticas de transparencia activa.
[43] Ver Charla “El futuro de la gobernanza de datos en América Latina” organizada por ILDA donde se hace mención a las posibilidades de trabajar los marcos de gobernanza de forma sectorial https://www.youtube.com/watch?v=x-HIV15urow
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
Algo más que infraestructuras digitales de participación
De manera breve quiero hacer mención a otra dimensión sensible para la agenda en cuestión. Presenta interrelación entre gobernanza de datos, futuros de gobierno abierto, ciencia de datos e lA en distintas veloci- dades e instancias.
A los portales de gobierno en su formato tradicional se han sumado otras infraestructuras digitales para dar vida a proyectos de legislación abierta, monitoreo de planes, presupuestos participativos, consultas entre otros mecanismos!“ públicos de similares objetivos. Su uso, sin hacer distinción de las modalidades adoptadas, es un repositorio de huellas digi- tales. Ni esos datos ni sus infraestructuras son integrados en la mayoría de los casos en los marcos de gobernanza anteriormente referidos.
En una publicación reciente del The GovLab (Gambrell, 2022) donde se analiza el proceso realizado por Madrid se deja constancia de la necesi- dad de incluir a futuro estas instancias como parte de las políticas de uso, reuso e intercambio de datos provenientes, en este caso, de la ciudadanía.
Proyectos de ciencias de datos y uso de algoritmos también son parte de ese ecosistema europeo que tiene repercusión por su escalabili- dad en América Latina. Son, claro está, otra naturaleza de datos y de acto- res involucrados en la recolección, tales como aquellas organizaciones de sociedad civil o comunidades de desarrolladores que podrán ser también lla-
mados a formar parte de eventuales debates sobre gobernanza de datos e IA
[44] Participedia (https://participedia.net) hace un relevamiento de proyectos participativos donde poder analizar el uso de distintas herramientas y procesos digitales.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
regionales, más aún si consideramos la toma de decisiones surgidas de esos datos, los modelos y temáticas de políticas públicas diseñadas especialmente
sobre distribución presupuestaria, espacio público, ambiente, movilidad.
Conclusiones
El incipiente escenario de marcos de gobernanza de datos a nivel regional, en su nivel normativo, diversidad temática y de cooperación entre actores, se presenta como factor de riesgo en momentos performáticos in- teligentes pero al mismo tiempo como oportunidad para promover valores intrínsecos a la agenda de datos feminista en general y de lA en particular.
Y si “los futuros son representaciones del porvenir que compiten ac- tualizándose en el presente para completarse tanto material como cultural- mente. Cada uno de ellos lleva implícitas concepciones más o menos específicas de lo que significa ser humano, naturaleza, desarrollo, justicia, riqueza y vida”. (Belsunces, 2020) Entonces allí reside la oportunidad de forjar una narrativa alternativa a las promulgadas desde escépticos y utópi- cos: una narrativa común a la agenda feminista de lA desde donde accionar por diseños más justos.
En ese estado de situación y controversias narrativas sobre qué es lA también se encuentra la búsqueda de un consenso sobre qué y para quiénes diseñar marcos de gobernanza de (nuestros) datos. ¿Por qué necesitamos tales políticas? ¿Qué personas están convocadas a ser parte de su diseño? ¿Qué tipo de cooperación debe implementar? ¿Cómo se torna esa búsqueda
necesaria en la lA feminista?
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
En ese contexto, las hojas de rutas globales son un indicador de la ne- cesidad de instrumentar marcos coherentes con el avance tecnológico, normativo y científico propio. Los distintos países de la región cuentan con movimientos de apertura y de datos de larga trayectoria, de derechos digi- tales y derechos humanos, colectivas feministas o software libre sensibles a las problemáticas ambientales, de sesgos y desigualdad. No sería conse- cuente con todo ello construir hojas de rutas locales desde cero o escasas de participación. En ese sentido, señalé a modo de ejemplo dos casos des- de donde potenciar la incidencia en el diseño de marcos de gobernanza en el sentido de la agenda: los planes de acción de gobierno abierto y los me- canismos de participación basados en infraestructuras digitales. Horizonta- lizar la agenda de lA implica también revitalizar esas políticas de apertura para problematizar junto a nuevos actores (cientistas de datos, privados, organismos internacionales, oficinas de estadísticas nacionales, data acti- vismo feminista, migrantes, ambientalistas, etc) la gobernanza. En ese mis- mo recorrido la agenda feminista de lA y los perfiles necesarios de cientistas de datos entran en juego para alertar oportunamente falencias y falta de datos estructurales que dificultarán el hacer las preguntas que que- remos con base en mejores datos y evidencia para la toma de decisiones
públicas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
RECOMENDACIONES
Finalmente, algunas propuestas para seguir conversando por una
agenda de investigación-acción de lA feminista.
o Sensibilizar [General]: La IA no debería considerarse un objeto pro- piedad de discusión de algunas áreas, actores o disciplinas. Más aún considerando su uso para la toma de decisiones públicas. Su gobernan- za por tanto remite a corresponsabilidad, participación y cooperación. Sin embargo, existen varias capas de debates previos o al menos simultá- neos para no implementar normativas anacrónicas que potencien los sesgos estructurales. Ejemplos: a) promover consensos abiertos locales acerca de qué, cómo y para quiénes se diseñan marcos de gobernanza de lA. En consecuencia, visibilizar por qué es importante contar con pro- yectos de algoritmos públicos para explicar su uso en mecanismos de toma de decisiones y rendición de cuentas. B) Desnaturalizar el origen de la escasez y madurez de datos en proyectos de ciencia de datos afines a la agenda feminista y el ciclo del sesgo como mero resultado de lo “dado” por procesos de lA. Integrar los resultados de dichos debates en los pro-
cesos de legislación sobre gobernanza.
o Localizar [Gobiernos/ONG]: potenciar el rol de las ciudades como es- pacios pertinentes para el desarrollo de políticas de gobernanza de lA aprovechando el ecosistema provisto por OGP Local (el capítulo de ciu- dades de la Alianza para el Gobierno Abierto). La presión que da cuenta
Davis sobre la revitalización de los portales de datos puede incentivar el
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
intercambio de experiencias entre ciudades en similares velocidades de normativización de la gobernanza de datos. Modelo piloto para pensar en
la “sectorización” pero por nivel territorial y no por tipo de alianzas o temas.
Open Gov Partnership 4) GCopengovpart Women local leaders are incorporating +opengov and
feminist approaches to tackle the challenges of the pandemic and strengthen democracy.
They shared their stories with us at the HOGPSummit last December youtu.be/AvFMxiAwt_s
HinternationalWomensDay +HIWD2022 H+BreakTheBias
Traducir Tweet
z PAMDAMIC PusMso us Te ¡urea a PAR
ARTICIPATICA Ye DATA CAUICIOs
SA LOCAL LEADERS ROUNDTABLE
Fuente: https://twitter.com/opengovpart/status/150121643475571098
o DataActivar los proyectos de ciencia (de datos) [Academia/Privados]: posibilidad de incluir en los equipos de ciencia de datos sobre políticas públicas referentes del data activismo que sumen e interpelen lo ético desde el territorio/cotidianeidad. Los roles y equipos de especialistas en distintos temas convocados en dichos procesos pueden ser interpelados por preguntas provenientes de otras miradas, riesgos y saberes. De esta
forma, se integrarían desde la primera fase de la problematización una
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 94
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
perspectiva feminista sobre el tema, se identifican posibles faltantes de información o datos, se previenen sesgos en distintas etapas del proyec- to y de la comunicación.
En ese mismo sentido, las organizaciones o comunidades que diseñan infraestructuras digitales habitualmente desarrollan becas para desarro- lladoras con el objetivo de cerrar las brechas en Ciencias, Tecnología, Ingeniería y Matemáticas. Sin embargo, sería interesante incidir para el diseño de incentivos donde mujeres de otras disciplinas como politólo- gas, sociólogas, antropólogas, humanistas interesadas en código se su- men y al mismo tiempo aporten sus miradas sobre aspectos no técnicos
de las infraestructuras.
o Protocolo de alertas tempranas del sesgo [agenda de investiga- ción IA feminista] Cocrear un protocolo que facilite la detección de po- tenciales sesgos al momento de diseñar un proyecto de ciencia de datos. Guiar desde lo más simple como ser [IF me encuentro con un data- set/base de datos sin desagregación entonces derivo a X área] o la crea- ción de un documento público, colaborativo y regional donde se recolecten brechas de datos al poner en ejecución un proyecto de lA. El
mismo alimentaría el protocolo.
o Repositorio de preguntas para una lA feminista: [agenda de inves- tigación IA feminista] Teniendo en cuenta los pasos propuestos por el curso sobre cómo hacer un proyecto de ciencia de datos del GobLabUAl
de Chile, abrir un repositorio en Github/sitio web para recolectar las pre-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
guntas de investigación con perspectiva feminista que quedan sin resol- ver dada la ausencia de base de datos que aporten evidencia. Seguir criterios de categorización tales como país, área de política pública, con- junto de datos necesario, nivel de maduración del dato, fuentes alternati- vas no oficiales entre otros. Visualizar los gaps por país y por conjunto de
datos.
o Biblioteca abierta sobre gobernanza de datos e lA feminista en Zo- tero: al ir explorando informaciones sobre el tema puede que te sea útil.
Crear un grupo abierto: GDelAfeminista
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
96
97
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
REFERENCIAS
Arnstein, S. R. (1969). A ladder of citizen participation. Journal of the American Institute of Planners, 35(4), 216-224.
https://lab.cccb.org/es/graficos-expectativas-y-la-invencion-del-futuro/
Davies, T. (15 de diciembre de 2021). Focussed futures: the portal as... [Blog post.] Data Portals and Citizen Engagement. https://dataportals.pubpub.org/pub/vftgd2z6/release/1
Iniciativa Latinoamericana por los Datos Abiertos. (31 de marzo de 2022.) El futuro de la gobernanza de datos en América Latina. [Video.] Youtube. https://www.youtube.com/watch?v=x-HIV15urow
Innerarity, D. (2011). ¿Qué es eso de la gobernanza? Tiempo de paz, 100, 228-233. https://dialnet.unirioja.es/servlet/articulo?codigo=3986435
Katz, Y. (2020). Artificial whiteness. Columbia University Press.
Levy, K., Chasalow, K. E., € Riley, S. (2021). Algorithms and Decision-Making in the Public Sector. Annual Review of Law and Social Science, 17, 309-334. https://www.annualreviews.org/doi/abs/10.1146/annurev-lawsocsci-041221-023808
Morozov, E. (2013). To save everything, click here: The folly of technological solutionism. Public Affairs.
Naciones Unidas, Asamblea General. (2020). Hoja de ruta para la cooperación digital: aplicación de las recomendaciones del Panel de Alto Nivel sobre la cooperación digital. https: //documents-dds-ny.un.org/doc/UNDOC/GEN/N20/102/54/PDF/N2010254 pdf
Organización para la Cooperación y el Desarrollo Económicos. (2021). Recommendation of the council on enhancing access to and sharing of data, OECD/LEGAL/0463.
https://www.oecd.org/sti/lieconomy/enhanced-data-access.htm
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
En agenda: aportes de gobernanza y ciencia de datos para una lA feminista y latinoamericana
Open Government Partnership. (2021). Gender € inclusion fact sheet. https://www.opengovpartnership.org/wp-content/uploads/2021/11/Gender-_-Inclusion-fact- sheet.pdf
Open Government Partnership. (2021). Digital governance fact sheet. https: //www.opengovpartnership.org/wp-content/uploads/2021/11/Digital-Governance-Fact- Sheet.pdf
Risse, M. (2021). Artificial intelligence and the past, present and future democracy. Carr Center for Human Rights Policy.
https://carrcenter.hks.harvard.edu/files/cchr/files/ai-and-democracy
Ruhaak, A. (29 de octubre de 2021). Desafíos para la ética aplicada a la gobernanza de datos | Eduardo Meneses € Mozilla Foundation. [Video] Youtube.
https://www.youtube.com/watch?v=97pvjLom9DE
Scrollini, F. (24 de enero de 2022) Datos que empoderan: Perspectivas de ALC sobre la gobernanza de datos. [Video]. Youtube. https://www.youtube.com/watch?v=TNyVU8nZGHA
Gamobrell, D. (28 de marzo de 2022). Learning from Decide Madrid. [Blog post.] The Gov Lab. https://blog.thegovlab.org/post/learning-from-decide-madrid
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”:
una perspectiva feminista sobre la datificación en la política social desde
Familias en Acción Laura Castro
Fundación Karisma Colombia
Joan López
Tilburg Institute for Law, Technology and Society (TILT) Tilburg University Países Bajos
El programa de transferencias condicionadas Familias en Acción entrega beneficios monetarios a más de 2 millones de familias y es uno de los pro- gramas más consolidados en la política social en Colombia (Departamento de Prosperidad Social, 2021). A pesar de ser catalogado como un éxito en términos de reducción de la pobreza (Llano, 2014), este programa es una muestra de cómo la administración de programas sociales afecta la autonomía y dignidad de las mujeres a través de una compleja red de vigilancia institucional y estereotipos que imponen cargas sobre sus vidas. En este documento partimos de un lente que nos permita visibilizar cómo Familias en Acción y sus procesos de clasificación afectan específicamente
la experiencia de las mujeres-madres beneficiarias.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
El texto tiene como objetivo señalar algunas preocupaciones sobre el impacto de los sistemas de datos y la vigilancia sobre las mujeres desde un enfoque que se aleja de los resultados económicos del programa. El trabajo se enmarca dentro de una investigación realizada por la Fundación Karisma para analizar el uso de datos en la política social desde una pers- pectiva de derechos humanosl*I,
Para esto, es necesario entender que la pobreza no afecta de ma- nera equitativa a las personas. De hecho, son las mujeres quienes engro- san las cifras de la pobreza y la pobreza extrema en Colombia y en el mundo. (ONU Mujeres, 2018) A pesar de que los índices de pobreza en el país mejoraron en el período de 2007 a 2018, la pobreza de las mujeres aumentó. (ONU Mujeres, 2018a) Este escenario justifica la necesidad de utilizar un enfoque de género que pueda aportar a la comprensión de los impactos diferenciados de los sistemas de datos en la protección social sobre las mujeres.
Primero, vamos a describir el contexto de la focalización de los pro- gramas sociales y las Transferencias Monetarias Condicionadas en Amé- rica Latina. Después vamos a analizar cómo funciona la vigilancia en Fami- lilas en Acción y sus impactos sobre la autonomía y la dignidad de las mujeres. Finalmente, llegamos a unas conclusiones y recomendaciones pa-
ra la implementación de sistemas de datos en este tipo de asistencia social.
[45] Este artículo es una versión resumida de una investigación de la Fundación Karisma titulada Vigilando a las "buenas madres": Aportes desde una perspectiva feminista para la investigación sobre la datificación y la vigilancia en la política social desde Familias En Acción publicada en 2021.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 00
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Contexto
Desde los 90, América Latina se enfrentó a una nueva era mar- cada por la liberalización de la economía y la privatización de los servi- cios públicos. En este contexto, las políticas de atención a la pobreza se centraron en la focalización del gasto social. (Castañeda, 2005; López, 2020; Rodríguez, 2011, 2011a) La focalización es una alternativa que busca la eficiencia de los recursos disponibles por medio de la asigna- ción de grupos focales predefinidos. (Rodríguez, 2011) La selectividad resultaba necesaria debido a las restricciones presupuestarias. De esta manera, las personas en pobreza y pobreza extrema se convirtieron en la población-objetivo en el país.
En 1994, Colombia creó el Sistema de Potenciales Beneficiarios de Programas Sociales (Sisbén) que clasifica a las personas en térmi- nos de pobreza y es utilizado para asignar más de 19 programas socia- les. Para esto, se recogen datos por medio de encuestas masivas y, de acuerdo a las reglas definidas por el Gobierno, se genera una clasifica- ción para el grupo familiar. (López, 2020) En esta calificación operan procesos de representación que determinan cómo el Estado encara la pobreza. La representación institucional de la pobreza obedece a su- puestos y elecciones que no son neutrales y que ilustran un discurso estatal determinado.
Uno de los programas sociales que utiliza el Sisbén es Familias en Acción (en adelante FA) que inició en el año 2000 y se inscribe den- tro de lo que se conoce como una Transferencia Monetaria Condiciona-
da (en adelante TMC). Las TMC buscan subsidiar a las personas que no
Inteligencia Artificial Feminista 1 0 1 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
pueden acceder a los precios del mercado por bienes y servicios a cam- bio de cumplir con unas condiciones determinadas por el Estado. (Rodríguez, 2011) Las condicionalidades son la columna vertebral en este tipo de asistencia social y, en el caso de FA, estructuran la dimensión moral subyacente a la mirada institucional sobre el rol de las mujeres en la supe- ración de la pobreza.
FA se diseñó en respuesta a la crisis de los 90 para promover la for- mación de capital humano en las familias en extrema pobreza, a través de subsidios condicionados a la asistencia escolar y al cuidado de la salud y la nutrición de los Niños, Niñas o Adolecentes (en adelante NNA) menores de 18 años del hogar. (Consejo Nacional de Política Económica y Social, 2000; 2005; 2007) El programa está focalizado en grupos en pobreza y pobreza extrema, víctimas de la violencia y grupos indígenas. En 2012, con la Ley 1532, el programa se convirtió en la principal estrategia de superación de la pobreza como una política de Estado. Con esto, se delegó la coordinación y dirección del programa al Departamento de Prosperidad Social (en adelante DPS) dependiente de la Presidencia. Actualmente, 2.203.038 familias
hacen parte del programa y reciben 175.000 pesos colombianos (44 USD). El programa tiene dos componentes. Primero, los incentivos mone- tarios a cambio de que los menores de 6 años tengan controles médicos o que los NNA entre 6 y 18 años asistan al 80% de las clases. Segundo, el bienestar comunitario que incluye la participación en asambleas, la
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 02
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
selección de madres líderes!*8l y encuentros pedagógicos. Las titulares pueden ser excluidas si no cumplen las metas del programa, hay inconsis- tencias en su información o mejoran su condición económica de acuerdo al Sisbén. (Ley 1532 de 2012, Art. 14; Departamento de Prosperidad Social, 2019, p. 29)
Asistencia social y vigilancia
La asistencia social es uno de los escenarios privilegiados para cuestionar la vigilancia por parte del Estado. En este entramado institucio- nal existe una lógica en la que se percibe como necesario analizar a las personas pobres. (Eubanks, 2006; Hughes, 2019; Monahan, 2017) Desde el Estado se argumenta la necesidad de recolectar información personal para entregar servicios sociales, sin embargo, los estudios sobre vigilancia han señalado que esta práctica también tiene un deseo de control social. (Hughes, 2019, p. 343) La preocupación por la privacidad de los sujetos en contextos de desigualdad debe preguntarse cómo se moldean los compor- tamientos sociales en función de un perfil institucional determinado. En este sentido, vale la pena explorar de qué manera las dinámicas de FA funcio- nan como mecanismos de control social sobre las mujeres en condición de
pobreza y cómo podrían afectar su autonomía y dignidad.
[46] Las madres líderes son electas por dos años y son las intermediarias entre las titulares y las autoridades del programa.
Inteligencia Artificial Feminista 1 03 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Sobreexposición a la vigilancia
La focalización de programas sociales incluye la recolección y análi- sis de datos personales para determinar el "merecimiento” individual. En programas como FA, las mujeres han sido víctimas de una vigilancia que li- mita su autonomía y las enmarca en estereotipos que producen los gobier- nos. En esta sección vamos a explorar cómo se vigila a las mujeres en el
programa Familias en Acción.
Verificación a través del Sisbén
En 2016, el Gobierno comenzó a recolectar nuevos datos para “pre- decir la capacidad de generar ingresos" de las personas. Además, introdujo la verificación automática de la información que las personas reportan con 34 bases de datos públicas y privadas. (López, 2020) Cuando hay una in- consistencia, se marca a la persona “en verificación” y puede ser excluida de programas sociales. Igualmente, el Gobierno tiene control regulatorio sobre las incongruencias que pueden generar una marcación. (Departa-
mento Nacional de Planeación DNP, 2017) El Sisbén hace visible la feminización de la pobrezal*”] y cómo la ve- rificación recae principalmente sobre ellas. Las mujeres son la mayoría de
las personas en el Sisbén (Departamento Nacional de Planeación DNP,
[47] Este concepto surge en la década del 70 en Estados Unidos para dar cuenta del aumento creciente de la pobreza en mujeres solas y en hogares a cargo de mujeres. Pese a que no existe una definición unívoca del término, este logra poner en discusión varios aspectos: 1) un predominio de mujeres entre la población empobrecida; (2) el impacto no fortuito de las causas de la pobreza entre varones y mujeres y 3) un aumento unidireccional de la pobreza entre las mujeres (Aguilar, 2011).
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 04
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
2020), así como son mayoría en los grupos de pobreza y pobreza extrema. (Figura 1) Sin embargo, estas cifras son representativas para antes de la pandemia de COVID 19 y las mujeres han sido más afectadas por esta cri- sis (Departamento Administrativo Nacional de Estadística y Departamento de Economía de la Universidad Javeriana, 2021). Por eso, para 2020 en adelante se espera que las mujeres aumenten en los grupos más empo- brecidos.
Figura 1 Total de personas en condición de pobreza según Sisbén desagre-
gado por género
12
0 | | | | | | | | |
2011 2012 2013 2014 2015 2016 2017 2018 2019
Millones
mn La]
15
ra
a Hombres y Mujeres
Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020)
Inteligencia Artificial Feminista 1 05 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
En los pilotos de verificación de 2014, se evidenció que las causales de la vivienda están igualadas en género, pero las causales de ingresos generan diferencias de género claras. (Figura 2) En la causal “aporte a se- guridad social”, el DNP marca a las personas que pasan del sector informal o el desempleo hacia la formalidad. Esta causal afecta más a los hombres que a las mujeres, mientras que la causal “cónyuge/hijo de persona repor- tada” las afecta más a ellas. Por esto, la verificación de los datos del nuevo Sisbén de datos personales como salud, educación, gasto e ingresos
podrían reproducir las inequidades.
Figura 2 Total personas marcadas “en verificación” desde 2014 hasta 2020 por género cónyuge/nio de personarepcriada MO cs Aporte a seguridad social e a Cambio de edad A Cambio de zona de vivenda ” Cambio de tipo de vivienda MS Cambio alcantarillado pa Cambio acueducto [P] 0 50000 100000 150000 200000 250000
A Hombres NM Mujeres
Fuente: Construcción propia a partir de (Departamento Nacional de Planeación DNP, 2020)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 06
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Verificación de las condicionalidades de FA
La verificación del Sisbén solo es la puerta de entrada, pero FA tiene procesos de verificación que pueden generar también su exclusión del pro- grama. La vigilancia de FA ocurre en diferentes espacios y depende de medios tanto tecnológicos como redes de personas que reportan datos al sistema.
Primero, el componente de salud que requiere la asistencia a che- queos para NNA menores de seis años. En este proceso se identifica a los NNA menores de seis años y se verifica su inscripción en una aseguradora de salud y una prestadora de servicios. Estas instituciones reportan los datos a Prosperidad Social sobre las asistencias a chequeos médicos. (De- partamento de Prosperidad Social, 2019a)
Segundo, los compromisos educativos que requieren la asistencia de los NNA al 80% de las clases de una institución educativa. El proceso se realiza en conexión con las bases de datos del Ministerio de Educación y los reportes de actores como las instituciones educativas y funcionarios del DPS. (Departamento de Prosperidad Social, 2020)
La verificación de compromisos de FA consta de una compleja red de actores que reportan información. Con esto, la permanencia del benefi- cio depende de negociaciones con actores. Es necesario analizar la expe- riencia de las mujeres en el sistema, las cargas de tiempo y sus estrategias
de negociación. (Departamento de Prosperidad Social, 2019a)
Inteligencia Artificial Feminista 1 07 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Punitivismo y limitaciones en el uso de su tiempo
Las condicionalidades de FA se establecen de manera punitiva. Es decir, de no llegar a cumplir con los requisitos del programa, la persona be- neficiaria se ve en riesgo de perder el incentivo económico y cualquier otro beneficio ligado a este. Esto impacta directamente la experiencia de las mujeres-madres beneficiarias, pues el Estado las ha hecho responsables exclusivas de la titularidad del programa. Esta situación las ubica en una posición de presión desproporcionada en relación con otros integrantes del hogar. Cuando el Estado no se cuestiona la división sexual del trabajo y construye las condicionalidades desde el punitivismo, está afectando la vida productiva de las mujeres y su potencial autonomía.
Esta carga excesiva se expresa en la dificultad de encarar los requi- sitos que imponen las TMC, llevando a las beneficiarias a mentir sobre su situación laboral, reportar menos ingresos y ocultar gastos que no se ciñen a las condicionalidades. (Eubanks, 2018, Monahan, 2017) Los estereotipos socio-culturales ligados a la imagen de madre cuidadora, junto con la idea de responsabilidad individual, legitiman la dimensión moral de estos pro- gramas sociales. Además del tiempo que las mujeres deben invertir para que los menores del hogar no incumplan las condicionalidades, son impul- sadas a participar en procesos de “formación” que buscan la modificación de sus comportamientos.
En FA, por ejemplo, las mujeres-madres beneficiarias deben hacerse cargo de los errores de las prestadoras de salud o de las entidades educa- tivas cuando estas no reportan de manera oportuna la información. Es
decir, ellas deben solucionar los errores del reporte cuando no reciben el
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 08
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
incentivo económico habiendo cumplido con las condicionalidades. Aunque esta situación afecta directamente el ingreso económico de la familia, la responsabilidad de respuesta recae, junto con el tiempo invertido en el pro- ceso, en la madre titular. Los errores del sistema, entonces, terminan por imponer más cargas a las que ya se encuentran sujetas las beneficiarias
del programa.
Disciplinamiento y mujeres-madres como prestadoras de
servicio
En FA, así como en el entramado institucional de la política social en Colombia, existen valores que se imparten desde el Estado para modificar el comportamiento de los pobres a través de requisitos a cambio de un be- neficio económico. (Mason, 2016, p. 70) Actualmente, FA establece com- ponentes de nutrición, derechos sexuales y reproductivos, inclusión financiera y demás módulos!*él que estructuran su visión moral sobre la maternidad. En esta sobreexposición de las mujeres pobres a la injerencia estatal, la modificación del comportamiento parte de una dimensión moral sobre sus actuaciones.
El Estado justifica la entrega del dinero a las beneficiarias “como una medida de discriminación positiva y de empoderamiento del rol de la mujer al interior de la familia”. (Ley 1532 de 2012, Art. 10, Para. 2) Esta afirmación
[48] En el marco de la entrega de las transferencias monetarias condicionadas del Programa Familias en Acción y con el fin de mejorar las capacidades y condiciones de vida de las familias participantes, el Programa implementará un conjunto de actividades para impulsar las capacidades individuales y colectivas de las familias participantes. Estas actividades se enfocarán principalmente en la promoción de los derechos sexuales y reproductivos, educación nutricional, inclusión productiva y educación financiera”. (Ley 1532, Art. 6A).
Inteligencia Artificial Feminista 1 09 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
no solo carece de una perspectiva crítica de género, sino que demuestra que el rol se valora siempre que se dé dentro del esquema de familia nu- clear tradicional: el “empoderamiento” existe al margen de su papel como cuidadora y administradora dentro del hogar. El perfil institucional de madre alrededor de las condicionalidades punitivas, sumado a estas afirmaciones, sustenta la idea de que las mujeres-madres son priorizadas en función de su papel como madres y prestadoras de un servicio y no como el de sujetas de derecho.
Las mujeres-madres beneficiarias deben demostrar una “idoneidad moral” que está ligada al adoctrinamiento de su vida sexual-reproductiva y su desempeño como madres. En el caso de las beneficiarias hay ciertos perfiles que se valoran y moldean desde el Estado: para recibir el beneficio económico hay que demostrar que se es “buena madre” a partir de unos lineamientos institucionales establecidos. Desde esta perspectiva, el Estado es una institución que practica la regulación moral adaptando las normas y valores culturales sobre los "buenos comportamientos” en derechos y res- ponsabilidades. (Brock, 2003 citado en Gazso, 2012) El componente de formación de FA que incluye “competencias ciudadanas y comunitarias”, junto con la responsabilización de las madres por participar en las activida- des de “beneficio colectivo” del programa, construyen una imagen institu- cional de “buenas madres” que es premiada o castigada según el caso. Nuestra observación se dirige a señalar que estos valores no son neutrales y que, por el contrario, responden a un perfil de responsabilización
individual determinado.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 1 0
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Conclusiones
El caso de FA alerta sobre el aumento de la vigilancia sobre las mu- jeres empobrecidas. Ellas son la mayoría de la población en pobreza y las que más dependen de programas sociales. Por esto, son blanco de vigilan- cia sobre su condición socioeconómica en el Sisbén y sobre el cumplimien- to de las condicionalidades en FA. Esto ocurre por medio de bases de datos compuestas de reportes de muchos actores. Además, las mujeres son responsables por los errores del sistema, pues son ellas las que pier- den los beneficios y las que tienen la carga de solucionarlos. Con la expan- sión de sistemas intensivos de datos, las mujeres serían las más afectadas tanto en el Sisbén por su pobreza y en FA por su género y su rol de ma- dres.
Las condicionalidades punitivas de FA imponen una carga diferencial sobre las mujeres, pues son ellas las responsables no solo de la participa- ción de los NNA en los componentes del programa, sino que deben partici- par en el bienestar comunitario. Estas características reproducen la idea de que los programas sociales dependen del merecimiento. Así, el Estado ins- trumentaliza a las mujeres-madres en función de su parentesco con los verdaderos titulares del beneficio, es decir, los NNA del hogar. De esta for- ma, las mujeres se convierten en las intermediarias entre el Estado y la su- peración de la pobreza. El análisis crítico de los estereotipos sobre la maternidad en FA y la política social permite entender los impactos del
cumplimiento de unos deberes impuestos sobre la autonomía de las mujeres.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
RECOMENDACIONES
o Los gobiernos que implementan sistemas automatizados de análisisde datos no deben utilizarlos para vigilar o poner sospechas
sobre el cumplimiento de las condicionalidades de los programas.
o Los gobiernos deben ser transparentes con los procedimientos y los datos utilizados cuando se automatiza una decisión dentro del sistema
de protección social.
o Los gobiernos no pueden utilizar sistemas automatizados para castigar o poner cargas desproporcionadas sobre las mujeres en condición de pobreza, pues limitan su autonomía aumentando la
inequidad de género.
o Las organizaciones de la sociedad civil que trabajan sobre derechos humanos en contextos digitales deben abandonar los principios abstractos y centrarse en los procesos internos de los sistemas de
datos en aplicaciones que impactan diferencialmente a las mujeres.
o Las organizaciones feministas deberían solicitar plena transparencia sobre los datos y los procesos utilizados para los programas sociales que se centran en las mujeres para alertar sobre los problemas de la
vigilancia y automatización de procesos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 1 2
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
REFERENCIAS
Aguilar, P. L. (2011). La feminización de la pobreza: Conceptualizaciones actuales y potencialidades analíticas. Revista Katálysis, 14(1), 126-133. https://doi.org/10.1590/51414-49802011000100014
Castañeda, T. (2005). Targeting social spending to the poor with proxy-means testing: Colombia's SISBEN system. Banco Mundial, 55. https: //documents1 .worldbank.org/curated/en/364521468019731045/paf/32759.pdf
Ley 1532 de 2012, regula el funcionamiento del Programa Familias en Acción (2012).
https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=47730
Ley 1948 del 2019, promoción de la movilidad social y se regula el funcionamiento del programa familias en acción. (2019). https://www.funcionpublica.gov.co/eva/gestornormativo/norma.php?i=90183
Castro, L., 4 López, J. (2021). Vigilando a las “buenas madres”. Fundación
Karisma. https://web.karisma.org.co/vigilando-a-las-buenas-madres/
Consejo Nacional de Política Económica y Social. (2000). Documento CONPES 3081 Plan Colombia Red de Apoyo Social: programas de subsidios condicionados y capacitación laboral de jóvenes desempleados de bajos
recursos. https://colaboracion.dnp.gov.co/CDT/Conpes/Econ%C3%B3micos/3081.paf
Consejo Nacional de Política Económica y Social. (2005). Documento CONPES 3359 Autorización a la Nación para contratar un empréstito externo con la banca multilateral hasta por US $86, 4 millones, con el fin de financiar parcialmente el programa Familias en Acción y el fortalecimiento de la información y del sistema de monitoreo y evaluación del sector de la protección social. DNP. https://colaboracion.dnp.gov.co/CDT/CONPES/Econ%C3%B3micos/3359.paf
Inteligencia Artificial Feminista 1 1 3 Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Departamento Administrativo Nacional de Estadística, y Departamento de Economía de la Universidad Javeriana. (2021). COVID-19: Brechas de género en el mercado laboral. DANE.. https: //www.dane.gov.co/files/investigaciones/genero/informes/Informe-participacion-mujer- mercado-laboral-2.pdf
Departamento de Prosperidad Social. (2017). Guía operativa bienestar comunitario Programa - Más Familias En Acción.
Departamento de Prosperidad Social. (2019a). Guía operativa verificación de compromisos en salud Programa Familias en Acción.
Departamento de Prosperidad Social. (2019b). Manual operativo Familias en Acción. DPS.
Prosperidad Social. (2019, 13 marzo). HFamiTips esta semana viene recargado de información y buenos consejos [Vídeo]. YouTube. https://www.youtube.com/watch?v=K5zNdoMiKt4
Departamento de Prosperidad Social. (2020). Guía operativa verificación compromisos en educación Programa Familias en Acción.
Departamento de Prosperidad Social. (2021). Familias en Acción—Transferencias condicionadas de Prosperidad Social. https://prosperidadsocial.gov.co/sgpp/transferencias/familias-en-accion/
Departamento Nacional de Planeación DNP. (2017). Decreto 441 del 16 de marzo de 2017.
Departamento Nacional de Planeación DNP. (2019). Evaluación de operaciones del Programa “Más Familias En Acción” y de resultados del componente de bienestar comunitario.
Departamento Nacional de Planeación DNP. (2020). Solicitud de información No. 20206001258622.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 1 4
115
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
Eubanks, V. (2006). Technologies of citizenship. Surveillance and political learning in the welfare system. En T. Monahan (Ed.), Surveillance and security: Tech- nological politics and power in everyday life. Routledge.
Eubanks, V. (2018). Automating inequality: How high-tech tools profile, police, and punish the poor. St. Martin's Publishing Group.
Hughes, C. (2019). From the long arm of the state to eyes on the street: How poor african american mothers navigate surveillance in the social safety net. Journal of Contemporary Ethnography, 48(3), 339-376. https://doi.org/10.1177/0891241618784151
Llano, J. (2014). Familias en Acción: La historia a la luz de sus impactos. https://www.repository.fedesarrollo.org.co/handle/11445/711
López, J. (2020). Experimentando con la pobreza: El SISBÉN y los proyectos de analítica de datos en Colombia. Fundación Karisma. https://web.karisma.org.co/wp-content/uploads/download-manager- files/Experimentando%20con%20la%20pobreza.pdf
Mason, K. (2016). Responsible bodies: Self-care and state power in the U.S. Wo- men, Infants, and Children Program. Social Politics: International Studies in Gender, State 8. Society, 23(1), 70-93. https://doi.org/10.1093/sp/jxv014
Monahan, T. (2017). Regulating belonging: Surveillance, inequality, and the cultural production of abjection. Journal of Cultural Economy, 10(2), 191-206. https://doi.org/10.1080/17530350.2016.1273843
ONU Mujeres (Ed.). (2018). Turning promises into action: Gender equality in the 2030 Agenda for Sustainable Development. UN Women. https://colombia.unwomen.org/sites/default/files/Field%200ffice%20Colombia/Documentos/Pu blicaciones/2018/10/0NU%20MUJERES%20-%20LIBRO%20Progress.paf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
“Vigilando a las buenas madres”: una perspectiva feminista sobre la datificación en la política social desde Familias en Acción
ONU Mujeres. (2018a). El progreso de las mujeres en Colombia 2018: Transformar la economía para realizar los derechos. https: //colombia.unwomen.org/sites/default/files/Field%200ffice%20Colombia/Documentos/Pu blicaciones/2018/10/0NU%20MUJERES%20-%20LIBRO%20Progress.paf
Rodríguez, C. (2011). Programas de transferencias condicionadas de ingreso e igualdad de género ¿Por dónde anda América Latina? CEPAL, ONU. https: //repositorio.cepal.org/handle/1 1362/5836
Rodríguez, C. (2011a). Elementos de un análisis feminista de las políticas contra la pobreza y las desigualdades en América Latina. En Aportes al debate del desar- rollo en América Latina. (María del Pilar Foti, p. 152). Red de Género y Comer- cio.6.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 1 6
Integración de la perspectiva de género en las estrategias de inteligencia artificial
de América Latina: Tatiana Revilla Programa de Género de la de la narrativa a la acción Escuela de Gobierno y
Transformación Pública Tecnológico de Monterrey México
¿Es necesario regular aspectos de género en la inteligencia artificial? ¿Se puede lograr mayor igualdad en el futuro y/o no repetir las dinámicas de poder actuales? ¿Qué regulaciones existen hoy en día? ¿La política pública puede incidir en la disminución de sesgos de la inteligencia artificial (1A)?
Este texto tiene dos objetivos; el primero, realizar un breve análisis de las estrategias de lA de países latinoamericanos para saber cómo están inte- grados —o no- elementos clave relacionados con la Perspectiva de Género (PEG) en el diseño y uso de inteligencia artificial (IA), como segundo objetivo, se establecen recomendaciones generales, con base en lo que sí existe o no, para incorporar a las regulaciones de política pública en la región.
El marco de referencia desde el cual afirmo que la inteligencia artifi- cial sí es y debe ser susceptible de regulación, no sólo en temas relaciona-
dos con perspectiva de género, sino en diversos aspectos ya ampliamente
Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe 1 1 7
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
estudiadosl!**, se argumenta desde el derecho a la justicia, en específico, en temas relacionados con PEG, a la justicia de género. Este concepto ha sido poco utilizado en temas relacionados con lA, pero hoy, da cuenta de la necesidad y la obligación de integrar enfoques interseccionales desde los derechos humanos, la igualdad de género y la no discriminación. La justicia de género busca minimizar las desigualdades, evitar que aumenten y se reproduzcan, en este caso, a través de la tecnología e lA, trasladando las dinámicas de poder y opresiones de las interacciones humanas, ahora al
mundo digital.
¿Cómo ha sido la regulación en países de América Latina?
Las políticas públicas que regulan la lA han sido desarrolladas como instrumentos denominados planes o estrategias nacionales de inteligencia artificial, los cuales, de acuerdo con Bradley et al. (2020), intentan coordinar las políticas gubernamentales para maximizar los beneficios potenciales para la economía y la sociedad, mientras se minimizan los costos potencia- les. En América Latina, de acuerdo con Gómez et al. (2020), la mayoría de los países han desarrollado algún tipo de estrategia alineada con esfuerzos digitales, incremento de conectividad y desarrollo de infraestructura, datos
abiertos y digitalización.
[49] Como son la transparencia algorítmica, rendición de cuentas, apertura del procesamiento de la información, ética en la selección y manejo de esta información, seguridad digital y protección de los derechos de privacidad y de datos personales.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 1 8
119
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Como resultado de un análisis de todas las estrategias nacionales de inteligencia artificial hasta el 1 de enero del año 2020, Bradley et al. (2020) señalan que la mayoría de las estrategias contaban con referencias explícitas a los derechos humanos; sin embargo, estas referencias queda- ban ambiguas o muy generales. Se expresaba la necesidad de contar con marcos de referencia éticos o centrados en los derechos humanos, pero sin claridad y especificidad a qué derechos o qué acciones concretas se re- ferían. También, señala que el derecho a la privacidad, a la igualdad y a la no discriminación eran los derechos más comunes, pero sin profundidad sobre cómo serían protegidos en el desarrollo y uso de la lA.
En el caso específico de América Latina, se presenta un breve aná- lisis sobre la integración de ciertos componentes de igualdad de género en las estrategias de lA, en específico de aquellos países que más desarrollo han tenido en relación con lA.
Los componentes por analizar son:
Integración explícita de Estrategias y/o líneas de
un enfoque de derechos X acción para mitigar los Ó X
ri n el diseñ 59 humanos esgos en el diseño y /o
uso de la lA respecto a los sesgos algorítmicos Integración explícita de la PEG
Promoción de la
Incorporación de datos 0.0 int Es itari o o o desagregados, al menos, VO integración paritaria en (MV por categorías sexo- eS eQuTós Aa | ' genéricas en el colegiados propuestos
diagnóstico o análisis
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
ArgentinalS01*
Plan Nacional de Inteligencia Artificial
Sx
Sí se identifican líneas de acción,
entre las que se destacan:
- Creación del Observatorio Nacional en Inteligencia Artificial para realizar evaluaciones de impacto algorítmico; - Esquema de gestión de riesgos;
* Evaluaciones para identificar riesgos potenciales y diseñar una estrategia para contrarrestar o minimizar el im- pacto.
No se hace mención explícita de ses- gos de género o algún otro.
Se menciona como uno de los
Objetivos de Desarrollo Sostenible a
alcanzar en el eje de implementación de impacto; de trabajo; de ética y de
regulación.
Se destaca la desigualdad de género como un valor del documento.
Sí Integra un enfoque de derechos humanos Señala especial énfasis en grupos sub-representados Establece la inclusión social como prioridad
No se identificó
No se identificó
[50] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La
estrategia más reciente está disponible en
https://ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
120
121
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
BrasillS11 Estratégia Brasileira de Inteligéncia Artificial - EBIA
Sí se identifican estrategias, entre las
que destacan:
* Financiación de proyectos de investigación que apunten a aplicar soluciones éticas, principalmente en los campos de equidad y no discriminación (fairness)
* Desarrollar técnicas para identificar y abordar el riesgo de sesgo algorítmico.
* Fomentar la difusión de códigos fuente abiertos capaces de verificar tendencias discriminatorias en conjuntos de datos y modelos de aprendizaje automático.
- Crear mecanismos para aumentar el interés de los brasileños en materias STEM (matemáticas, ciencias, tecnología e ingeniería) en edad escolar, con especial énfasis en programas de inclusión de género y raza.
Sí establece la importancia de tomar
en cuenta criterios de desigualdad de género en diversos ámbitos relacionados con la lA.
[51] Estrategia publicada en el año 2021. Disponible en
A
o
oo
UN
=>
Sí establece la relación del diseño de lA con los derechos humanos, diversidad y sociedades justas.
Se identificaron únicamente datos respecto a la baja presencia de mujeres en profesiones relacionadas con la IA en el país.
Establece el fomento a la composición diversa de los equipos de desarrollo de lA en términos de género, raza, orientación sexual y otros aspectos socioculturales.
https: //www.gov.br/mcti/pt-br/acompanhe-o-mcti/transformacaodigital/arquivosinteligenciaartificial/ia_estrategia_diagramacao_4- 979 2021.pdf
Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Chilels21
Política Nacional de Inteligencia Artificial
PS)
Sí se identifican estrategias, entre las
que destacan:
"Fomentar la participación de mujeres en áreas de investigación y desarrollo relacionadas con la lA, hasta alcanzar un nivel igual o mayor a la OCDE. "Fomentar la participación de mujeres en áreas de lA en la industria hasta alcanzar, al menos, un valor igual o superior al promedio OCDE y velar por que el impacto de la automatiza- ción no perjudique por género y que la creación de empleo sea equitativa. "Fomentar la equidad de género en la implementación de sistemas de lA. «Incorporar variables de género en los ejercicios de prospección del mercado laboral, focalizando políticas de capa- citación y actualización a mujeres para mitigar el impacto de la automatización en ámbitos donde son mayormente perjudicadas.
Integra elementos de lA inclusiva,
señalando categorías sospechosas principalmente el género.
Contiene un apartado exclusivo sobre las brechas de género.
[52] Disponible en https://minciencia.gob.cl/uploads/filer_public/bc/38/bc389daf-4514-4306-867c-760ae7686e2c/documento_politica_ia_digital_.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
AR
Establece a los derechos humanos como un eje transversal
Sí establecen datos
desagregados por sexo:
“En la metodología de diseño de la estrategia
"En el apartado de género respecto a las brechas.
Sí se establecen como parte de las líneas de acción de género
122
123
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Colombial*3l
Política Nacional para la Transformación Digital e inteligencia
artificial SY No se identificó Xx
No se identificó
El
[53] Estrategia disponible en https://www.asocapitales.co/nueva/2021/03/01/documento-conpes/
Establece el respeto
K por los derechos humanos como principio general de la estrategia.
AVIV No se identificó
o _—__——_——— MA No se identificó
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Méxicol54 Agenda Nacional Mexicana de Inteligencia Artificial
pS) Sí se identifican estrategias, entre las Sí Integra un
x | que destacan: E enfoque de «Crear un órgano independiente derechos humanos especializado en la protección y Señala especial vigilancia de los derechos humanos énfasis en grupos en temas relacionados con el sub-representados desarrollo y la implementación de lA. Establece la “Proponer legislación para auditar a inclusión «sgclal las empresas y organizaciones que como prioridad generen un perjuicio a través del desarrollo o el uso de sistemas mz autónomos inteligentes A No se identificó «Crear mecanismos internos para NU identificar y monitorear sesgos y errores durante toda la vida útil de los sistemas de lA «Comprender y establecer líneas
éticas de uso responsable y confiable 2 2 No se identificó de lA, ética, leyes, manejo de sesgos I N de manera sistémica en los grupos de
investigación.
Integra la igualdad y no discriminación como una prioridad y eje estratégico.
[54] Disponible en https://ia-latam.com/wp-content/uploads/2020/09/Agenda-Mexicana-de-lA-2020.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 24
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Uruguayl*l Estrategia de Inteligencia Artificial para el Gobierno Digital
No se identificó Establece el respeto
K por los derechos humanos como principio general de la estrategia.
No se identificó
ooo
Ya No se identificó
AA No se identificó
Dl
[55] La estrategia actualizada se encuentra en proceso de consolidación por la actual administración del gobierno de Argentina. La estrategia más reciente está disponible en https: //ia-latam.com/wp-content/uploads/2020/09/Plan-Nacional-de-Inteligencia-Artificial.pdf
Inteligencia Artificial Feminista 1 25 Hacia una agenda de investigación en América Latina y el Caribe
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Como se observa, cada una de las estrategias integra el tema de una manera distinta. Aun cuando todas las estrategias señalan el enfoque de derechos humanos como parte transversal, no todos establecen de ma- nera explícita la PEG. Argentina, Brasil, México y Chile tienen claramente un abordaje prioritario, estableciendo estrategias o líneas de acción concretas dándole una importancia preponderante al tema, especialmente México y Chile.
Un aspecto interesante es que ninguna estrategia establece indica- dores y presupuestos alineados con las líneas de acción. El único país que establece un apartado presupuestal aproximado de manera general por entidad hasta el año 2022, es Colombia, pero no cuenta con un desglose en el que se identifiquen acciones concretas relacionadas con la integración de la PEG ni algún otro elemento. Esto podría representar un problema en el momento de la implementación y evaluación de las estrategias, debido a la ambigúedad en qué se quiere lograr, el tiempo, responsables y con qué presupuesto.
En el tema de un uso inclusivo y neutral de lenguaje, se identificó que las estrategias que cuentan con apartados específicos de género, como Chile y México, son aquellas que utilizan un lenguaje más neutro y menos uso de masculinos generalizados. Esto importa debido a que el pro- cesamiento neutral de lenguaje es un aspecto prioritario en el desarrollo, uso y evaluación de la lA y el que los países utilicen este lenguaje en los instrumentos de política pública podría ser un referente simbólico trascen- dental para otras acciones de más profundidad en el desarrollo, uso y eva-
luación de sesgos algorítmicos, por ejemplo.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 26
127
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
Como señalan Gómez M. et al. (2020), América Latina y el Caribe se encuentran en una etapa temprana de desarrollo de estrategias, guías éti- cas y normatividad; sin embargo, esto podría representar una oportunidad para que el diseño de las estrategias pueda seguir su propio curso con base en las necesidades propias de los países y comunidades locales, tomando en cuenta la fuerte colonización de la tecnología, el lenguaje y la
hiperconectividad global.
RECOMENDACIONES
En este sentido, algunas recomendaciones para la integración de la PEG en la estrategias o instrumentos de política pública para países de la región
son:
o Política explícita de igualdad de género e inclusión social
Además de un enfoque de derechos humanos, la integración explícita de un enfoque de género e inclusión social en las estrategias de lA es- tablece el reconocimiento del tema como un elemento prioritario y oblig-
atorio a considerar por todos los actores involucrados.
o Representación paritaria y acciones afirmativas
Con el objetivo de minimizar las brechas de la participación de mujeres y otros grupos subrepresentados, se debería establecer la paridad de género, y, en la medida de lo posible de otros grupos históricamente ex- cluidos, en el desarrollo, implementación y evaluación de sistemas de lA, así como en los comités éticos, de auditoría y/o cualquier otro órgano
colegiado que se establezca en las estrategias.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
o Definición del problema
Las estrategias de lA deberán integrar un diagnóstico y/o análisis con vari- ables desagregadas no solo por identidades sexo-genéricas, sino de nivel socioeconómico, categorías raciales/étnicas, discapacidad, comunidad LGBTIQ+, con el objetivo de visibilizar, desde distintas interseccionalida- des, las problemáticas, brechas y desigualdades relacionadas con el de-
sarrollo, uso y evaluación de la lA específicos del país y estás poblaciones.
o Establecimiento de estrategias y planes de acción concretas
Para garantizar de algún modo las acciones, se deberían alinear las es- trategias y líneas de acción a metas, indicadores, presupuestos y mode- los de evaluación y seguimiento. Lo que no se mide, no sirve y, en el marco de la política pública, se deben de realizar evaluaciones de im- pacto, resultados y de proceso con base en lo establecido en los instru- mentos. De no existir estos elementos, se corre el riesgo que se quede
en un documento meramente simbólico.
o Deconstrucción de sistemas hegemónicos
Los países latinoamericanos, a través de los diagnósticos y análisis con perspectiva de género y enfoque interseccional, tienen la oportunidad de deconstruir las lógicas de poder no solo entre los géneros, sino de los distintos grupos en situación de vulnerabilidad y/o exclusión, creando estrategias y herramientas específicas acorde con las necesidades de las sociedades latinoamericanas, no solo reproducir aquellas prácticas relacionadas con la lA de los países que tienen el control y poder en
desarrollo tecnológico.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 28
Integración de la perspectiva de género en las estrategias de inteligencia artificial de América Latina: de la narrativa a la acción
REFERENCIAS
Abdala, M. B.; Lacroix Eussler, S. £ Soubie, S. (2019). La política de la Inteligencia Artificial: sus usos en el sector público y sus implicancias regulatorias. Documento de Trabajo N*185, Buenos Aires: CIPPEC. https: //www.cippec.org/wp-content/uploads/2019/10/185-DT-Abdala-Lacroix-y-Soubie-La- polY%C3%ADtica-de-la-Inteligencia-Artifici....pdf
Bradley, C.; Wingfield, R. 8 Metzger, R. (2020). National artificial intelligence strategies and human rights: A review. Global Partners Digital (Stanford's Global Digital Policy Incubator). https://www.gp-digital.org/publication/national-artificial-intelligence-strategies-and-human-r ights- a-review/
Galindo, L., K. Perset and F. Sheeka. (2021). An overview of national Al strategies and policies. Going Digital Toolkit Note, No. 14, https://goingdigital.oecd.org/data/toolkitnotes/No14_ToolkitNote_AlStrategies.pdf=
Gómez M. C. 8 Del Pozo, C. M. et.al. (2020). La inteligencia artificial al servicio del bien social en América Latina y el Caribe: panorámica regional e instantáneas de doce países. Banco Interamericano de Desarrollo y CMINDS.. https: //publications.iadb.org/publications/spanish/document/La-inteligencia-artificial-al-servicio- del-bien-social-en-America-Latina-y-el-Caribe-Panorámica-regional-e-instantáneas-de-doce- paises.paf
4 29 Inteligencia Artificial Feminista
Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para
. ” 56 mujeres latinas!*! Sana
Northwestern University Estados Unidos
Ivonne Muñoz
IT Lawyers SC México
Norma Elva Chávez
Universidad Nacional Autónoma de México México
En 2021, el Instituto Mexicano de la Propiedad Industrial realizó un estudio que reflejó la participación de las mujeres mexicanas en las solicitudes de registro de invenciones (patentes) ante esta autoridad. Los resultados muestran datos interesantes y crudos desde una perspectiva de género, ya que sólo el 14% de las invenciones presentadas en los últimos dos años corresponden exclusivamente a mujeres mexicanas. De estas, el 22% corresponden a grupos mixtos (patentes que están compuestas por equipos
que incluyen tanto a hombres como a mujeres) y en donde destaca que en
[56] Este trabajo fue parcialmente apoyado por la subvención NSF FW-HTF-19541. Un agradecimiento especial a Seth Cooper, Rosta Farzan y Grecia Macias por sus comentarios sobre este artículo.
Inteligencia Artificial Feminista 1 30 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
el 49% de dichos grupos mixtos solo participa una mujer, en el 30% solo dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo el 2% de los grupos mixtos integra a cinco o más inventoras mexicanas.
En el caso de las mujeres latinas en Estados Unidos, la falta de de- sarrollo profesional puede resultar en la deserción de mujeres. (Alcorn, 2020; Ryan, 2003) Sin diversidad, la ciencia ciudadana puede resultar en investigaciones que no son deseables para una parte de la población. (Chesser, Porter 8 Tuckett, 2020; Schafer 8 Kieslinger, 2016) Parte del problema es que hay menos investigación sobre cómo cerrar esta brecha de participación (Hargittai 84 Shaw, 2015; Schradie, 2012). Con base en teorías sociales relacionadas (Gallus, 2017; Locke 8 Latham,2002; Ryan € Deci, 2000), planteamos la hipótesis de que podríamos abordar este pro- blema convirtiendo las microtareas de los proyectos de ciencia ciudadana que realizan las mujeres latinas en oportunidades para que aumenten, paso a paso, su autoeficacia y así faciliten su desarrollo profesional. A través de esto, esperamos aumentar la participación, las contribuciones y las posicio- nes de liderazgo que toman las mujeres.
Prevemos el siguiente caso de uso de nuestra herramienta: para un conjunto determinado de proyectos de ciencia ciudadana en Estados Uni- dos y una mujer voluntaria individual, la herramienta podría identificar que esa mujer se beneficiaría al completar microtareas de ciencia ciudadana sobre "identificación de peligros en imágenes y videos". La herramienta también podría recomendar completar un programa de certificado de estu-
dio independiente para "Conocer los peligros" de la Agencia Federal para el
Inteligencia Artificial Feminista 1 3 1 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
Manejo de Emergencias (FESA)I$7. En última instancia, los certificados podrían ayudarla a postularse para trabajos gubernamentales de nivel ini- cial. Prevemos que, dependiendo de los objetivos profesionales de la mujer, así como de la región donde resida, se le recomendará tomar diferentes ti- pos de certificados profesionales. Algunas de las certificaciones que explo- ramos inicialmente incluyen las de la Agencia Federal para el Manejo de Emergencias (ya que hay varios certificados que se relacionan con tareas de etiquetado de imágenes y videos), o certificaciones del Gobierno Federal de Méxicol58l (especialmente porque tienen varios certificados para trabajos de entrada de nivel inferior que utilizan habilidades relacionadas con la ciencia ciudadana, y planeamos asociarnos con ONG en América Latina). Adicionalmente, es necesario considerar como parte del marco de esta in- vestigación la representación del género femenino en la actividad de inven- tos en América Latina, particularmente en México (de donde son las tres autoras), considerando este aspecto como un fiel reflejo de si se respeta o
no que las mujeres tengan una participación igualitaria en este ámbito.
Diseño de herramientas
Nuestros métodos se centran en diseñar una herramienta inteligente que aprenderá con el tiempo qué microtareas de ciencia ciudadana y qué
recomendaciones de certificados profesionales son mejores para una
[57] https://training.fema.gov/is/
[58] https://www.mexicox.gob.mx/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 32
Inteligencia artificial feminista para mujeres latinas
colaboradora específica para aumentar su sentido de autoeficacia y desa- rrollo profesional. La figura 1 presenta una descripción general de cómo nuestra herramienta integra un módulo de aprendizaje de refuerzo que aprende a través del tiempo qué tareas y certificaciones las mujeres latinas consideran más útiles para estos esfuerzos. Este módulo de aprendizaje por refuerzo operará en el backend de nuestra herramienta y nuestro fron- tend será un complemento web para MTurkl3%1, donde publicaremos tareas de ciencia ciudadana por realizar. El objetivo de nuestra herramienta de datos será generar políticas que conduzcan a una secuencia de microta- reas y programas de certificación que maximicen una función de utilidad específica. En nuestro caso, la función de utilidad se define por el nivel de autoeficacia percibida y desarrollo profesional de los participantes. Hay que considerar que, para consultar a los participantes sobre su autoeficacia percibida, nos basamos en un trabajo relacionado que ha desarrollado me-
didas para la ciencia ciudadana. (Hiller, 2016)
[59] Amazon Mechanical Turk (MTurk) es un mercado de crowdsourcing que facilita que las personas y las empresas subcontraten sus procesos y trabajos a una fuerza laboral distribuida que puede realizar estas tareas virtualmente. Las tareas pueden incluir desde realizar una simple validación de datos hasta tareas más subjetivas como la participación en encuestas o moderación de contenido y más. https://www.mturk.com/
Inteligencia Artificial Feminista 1 33 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
Figuras 1, 2 y 3
HIT UE 2; pa :. sn o as .. Amazon Requester inc - C- [French language proficiency requir 61.046 $0 50 th ago A Amazon Requester inc. -C (ARMA DIVDRADLOA 79 LS > 50,647 $0 50 In ago bs Amazon Requester inc - C- Product to interest Aud (ungle yev 28,379 $015 1h ago AN Arrazon Roquester inc. - € [dorrinio del doma ospañol requer! Y 27.670 $0 50 21M ago A pr Amazon Requester inc -C [Proficióncia no iioma portugués tr” 7 10,719 $0 50 20h ago bs
Completing this task and then doing the professional certificate from FEMA (LINK) could help you obtain a job in the Federal Government for Emergency Management.
Vos ae get 4 se el pucca picas drag 00 degrada a cr ad id A
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 34
Inteligencia artificial feminista para mujeres latinas
Nuestra herramienta se inicia primero con microtareas de ciencia ciudadana y programas certificados relacionados seleccionados al azar o en función de la popularidad global o de la facilidad de la tarea. Después de cada tarea, la herramienta presenta breves preguntas de retroalimentación para los participantes sobre la utilidad de la tarea y los programas de certi- ficación en relación con la función de utilidad. (ver Figura 2) Por ejemplo, la herramienta podría preguntar a las mujeres latinas qué tan capaces se sienten con las tareas y el programa de certificación que acaban de com- pletar y cuánto sienten que les está ayudando en su desarrollo profesional. El módulo de aprendizaje por refuerzo luego usa esta información como un ciclo de retroalimentación y datos de entrenamiento para aprender con el tiempo la secuencia más óptima de microtareas para maximizar la función de utilidad particular. Con este fin, formulamos el siguiente objetivo: quere- mos maximizar la utilidad general esperada (por ejemplo, la autoeficacia y el desarrollo profesional) "e" después de participar en el proceso de pro- ducción con un conjunto específico de tareas y programas de certificación, mediante el uso de una óptima política de recomendación p*. Matemática-
mente, este problema se puede escribir como:
*
p = argmax E, (e) (1)
Observe que p es una familia de políticas descritas por una función de masa de probabilidad (PMF) discreta sobre un conjunto de n tareas (que incluyen microtareas de ciencia ciudadana y completar certificados profe-
sionales) que van desde ¡i=1 a n, ye es la retroalimentación que las
Inteligencia Artificial Feminista 1 35 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
participantes brindaron sobre cuánto sintieron que las tareas y certificados de ciencia ciudadana recomendados ayudaron a su autoeficacia y desa-
rrollo profesional. El valor de la utilidad esperada se puede calcular como:
E, = 2 e Pr Ct, w)
= o
_Pr(t) Pr (w) ji 1 L J]
= w Fp(2)
donde w es un PMF sobre todas las participantes (donde tenemos m número total de participantes), F es una matriz m x n que contiene los puntajes de retroalimentación después de cada tarea, y p es la política sobre las microtareas. El superíndice T indica transposición. La matriz F re- gistra así la retroalimentación del j-ésimo participante en la j-ésima fila y las microtareas (que incluyen tareas de ciencia ciudadana y finalización de certificados de desarrollo profesional) se organizan sobre las columnas utilizando un índice ¡. Esto significa que e¡¡ es el puntaje de retroalimenta- ción otorgado por el j-Ésimo participante después de completar la tarea /. Las microtareas de ciencia ciudadana o los programas de certificación no completados se considerarán con puntajes de retroalimentación bajos. Las políticas ppmfs están condicionadas a determinados proyectos de ciencia ciudadana con sus correspondientes certificados de profesionalidad. Una
política se centrará en seleccionar la tarea con el mayor valor esperado, y
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 36
Inteligencia artificial feminista para mujeres latinas
teniendo en cuenta la incertidumbre que tenemos sobre la distribución de recompensas (pulgares arriba-pulgares abajo) de la tarea. Esto nos permite equilibrar la exploración y la explotación. Hay que considerar que nuestros algoritmos de orientación son, por lo tanto, generalizables y aplicables en todos los proyectos de ciencia ciudadana con sus programas de certifica- ción relacionados. Para cada tipo de proyecto de ciencia ciudadana, nuestros algoritmos aprenderán una política diferente (es decir, el tipo de microtareas y certificados que son mejores para obtener en proyectos de ciencia ciudadana centrados en el cambio climático pueden ser diferentes de los centrados en la atención médica).
En la implementación completa de nuestras herramientas inteli- gentes, también planeamos incorporar técnicas de minería de datos para utilizar datos históricos de un proyecto de ciencia ciudadana en particular para identificar los patrones de microtareas que se han asociado con una participación exitosa y luego integrar ese conocimiento en nuestros algoritmos de orientación. Esta información se puede utilizar para alimentar nuestro algoritmo en la etapa inicial, cuando no se han recopilado todavía los comentarios individuales necesarios. En iteraciones de nuestros méto- dos computacionales, también planeamos crear un ciclo de retroalimenta- ción computacional de la reacción de la comunidad de ciencia ciudadana al trabajo que producen las mujeres latinas y también incorporar información sobre las habilidades y el conocimiento de una mujer. Nuestros algoritmos inteligentes aprenderán con el tiempo cuáles son las mejores tareas y pro- gramas de certificación para hacer que ciertos tipos de latinas se sientan
más capaces, sientan que están creciendo profesionalmente, teniendo en
Inteligencia Artificial Feminista 1 31 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
cuenta también los comentarios de la comunidad científica ciudadana. Uno puede imaginar que el algoritmo puede ajustarse para maximizarse a nivel
individual de una mujer o a nivel de proyecto de ciencia ciudadana.
Representación de mujeres latinoamericanas en inven-
ciones mexicanas
En 2021, el Instituto Mexicano de la Propiedad Industriall$% realizó un estudio que reflejó la participación de las mujeres mexicanas en las soli- citudes de registro de invenciones (patentes) ante esta autoridad. Los resultados muestran datos interesantes y crudos desde una perspectiva de género, ya que sólo el 14% de las invenciones presentadas en los últimos dos años corresponden exclusivamente a mujeres mexicanas. De estas, el 22% corresponden a grupos mixtos (patentes que están compuestas por equipos que incluyen tanto a hombres como a mujeres) y en donde destaca que en el 49% de dichos grupos mixtos solo participa una mujer, en el 30% solo dos mujeres, el 10% de los grupos mixtos integran a 4 mujeres, y solo el 2% de los grupos mixtos integra a cinco o más inventoras mexicanas.
Estas cifras llevan a la reflexión obligatoria de encontrar una forma a través de la cual se garantice una participación más igualitaria de las mujeres en las invenciones, ya que a pesar de la existencia de la Ley
Federal para la Igualdad entre mujeres y hombres (Ley Federal 227, 2006)
[60] https://www.gob.mx/impi/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 38
Inteligencia artificial feminista para mujeres latinas
y la Ley Federal para Prevenir y Eliminar la Discriminación (Ley Federal 179, 2003) en México, es inminente el bajo nivel de representación del género femenino en los procesos inventivos. Ambas leyes están dirigidas a promover principalmente la no discriminación de las mujeres por su condi- ción de género, garantizándoles su derecho a la educación, a la libre elección de su profesión, el derecho a la formación especializada, al acceso a la información y a las tecnologías de la información. Sin embargo, la situación demuestra la falta de seguimiento de los derechos que tienen las mujeres de ser tratadas por igual en toda situación y que por supuesto está ligada al derecho a la educación sin ser víctimas de discriminación tan solo por su género.
La referida legislación prevé formas para prohibir la discriminación en relación con el desarrollo profesional, entre las que se destacan las siguientes: impedir el acceso o permanencia a la educación pública o privada, así como a becas e incentivos en centros educativos; establecer contenidos, métodos o instrumentos pedagógicos en los que se asignen roles contrarios a la igualdad o que difundan una condición de subor- dinación; prohibir la libre elección de empleo, o restringir las oportunidades de acceso, permanencia y promoción en el mismo; establecer diferencias en remuneración, beneficios y condiciones de trabajo para puestos iguales; limitar el acceso y la permanencia en los programas de entrenamiento y formación profesional; impedir la participación en igualdad de condiciones en asociaciones civiles, políticas o de cualquier otro tipo; limitar la libre ex- presión de ideas; impedir la accesibilidad a la información, tecnología y
comunicaciones; restringir la participación en actividades culturales;
Inteligencia Artificial Feminista 1 39 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
restringir o limitar el uso de su lengua, usos, costumbres y cultura; e imple- mentar o ejecutar políticas públicas, programas u otras acciones guberna- mentales que tengan un impacto desfavorable en los derechos de las
personas.
Conclusión
Propusimos una herramienta basada en lA que podría motivar a las mujeres de América Latina a participar en proyectos de ciencia ciudadana. Nuestra esperanza es que otras investigaciones puedan usar nuestros principios de diseño para identificar diferentes formas en las que también puedan diseñar herramientas inteligentes para ayudar a motivar a las po- blaciones subrepresentadas a participar en diferentes esfuerzos y, por lo tanto, ayudar a cambiar quiénes pueden participar en diferentes
actividades.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 40
Inteligencia artificial feminista para mujeres latinas
RECOMENDACIONES
o Al diseñar herramientas de lA para aumentar la participación de poblaciones subrepresentadas, es fundamental hacerlo con las propias poblaciones para comprender sus necesidades, y diseñar herramientas que puedan coincidir con lo que estas poblaciones realmente necesitan. En nuestro laboratorio de la Northwestern University y en la UNAM, hemos estado diseñando herramientas junto con diferentes poblaciones de mujeres, incluidas personas de regiones rurales y trabajadoras tecnológicas. (Ángel, Savage 8 Moreno, 2015; Beltrán, 2020; Hanrahan et al., 2020) Es crucial adoptar una filosofía de diseño en la que se tomará el tiempo para conectarse y comprender a las comunidades antes de desarrollar algo para ellas.
o También es importante saber que la lA no siempre es la solución a todos los problemas. Es mejor adoptar un enfoque de diseño centrado en el ser humano y permitir que los problemas y las necesidades de la comunidad sean los que definan ese diseño. Es crucial dedicar tiempo a iterar la tecnología con las poblaciones subrepresentadas para garantizar que les sea útil y se adopte a largo plazo.
o En el proceso de creación de programas que promuevan la participación de grupos conformados por mujeres, es fundamental que puedan sensibilizarse sobre sus derechos de acceso a la educación, tanto básica como especializada, así como sobre la importancia de su participación en procesos creativos en los que más mujeres están involucradas, por lo que se considera este como uno de los elementos de configuración más importantes en los modelos creados con ese propósito.
o Todo proyecto cuyo objetivo sea promover la participación de las mujeres debe partir de la construcción de un escenario en el que las mujeres tengan acceso igualitario al uso, control y disfrute de los bienes, servicios y recursos de la sociedad, así como a la toma de decisiones en todos los ámbitos de la vida social, económica, política, cultural y familiar.
Inteligencia Artificial Feminista 1 4 d Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
REFERENCIAS
Alcorn, T. (2020). Woolly bully: Exploring high school students” science identities and attitudes in the context of a citizen science project. [Tesis doctoral]. University of Massachusetts Lowell. https: //www.proquest.com/openview/2d0e467f16e9278d86444a9068ab1a5a/1?pq- origsite=gscholarg8cbl=187508.diss=y
Ángel, W., Savage, S., 8 Moreno, N. (2015). Participatory stoves: Designing renewable energy technologies for the rural sector. In Proceedings of the 18th ACM Conference Companion on Computer Supported Cooperative Work €. Social Computing, pp. 259-262. https://numancomputerinteraction.wvu.edu/files/d/0fa78d83-7144-454e-aed5- d109ea9aaced/stoves.pdf
Antonio, A., 8 Tuffley, D. (2014). The gender digital divide in developing countries. Future Internet, 6(4), 673-687. https://doi.org/10.3390/fi6040673
Beltrán, H. (2020). The first Latina Hackathon: Recoding infrastructures from México. Catalyst: Feminism, Theory, Technoscience, 6(2). https://doi.org/10.28968/cftt.v11001.32904
Chesser, S., Porter, M. M., 8 Tuckett, A. G. (2020). Cultivating citizen science for all: ethical considerations for research projects involving diverse and marginalized populations. International Journal of Social Research Methodology, 23(5), 497-508. https://doi.org/10.1080/13645579.2019.1704355
Ley general para la igualdad entre mujeres y hombres. (2006). D.O.F. 18 de mayo de 2022. México. https://www.diputados.gob.mx/LeyesBiblio/pdf/LGIMH.paf
Ley federal para prevenir y eliminar la discriminación. (2003). D.O.F. 17 de mayo de 2022. https: //www.diputados.gob.mx/LeyesBiblio/pdf/LFPED.pdf
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 42
143
Inteligencia artificial feminista para mujeres latinas
Gallus, J. (2017). Fostering public good contributions with symbolic awards: A large- scale natural field experiment at Wikipedia. Management Science, 63(12), 3999-4015. https://doi.org/10.1287/mnsc.2016.2540https://par.nsf.gov/servlets/purl/10175706
Hanrahan, B. V., Ma, N. F., Betanzos, E., 8 Savage, S. (2020). Reciprocal research: Providing value in design research from the outset in the rural United States. In Proceedings of the 2020 International Conference on Information and Communication Technologies and Development (pp. 1-5). https: //par.nsf.gov/servlets/purl/10175706
Hargittai, E., 8 Shaw, A. (2015). Mind the skills gap: the role of Internet know-how and gender in differentiated contributions to Wikipedia. Information, communication 8 society, 18(4), 424-442. https://doi.org/10.1080/1369118X.2014.957711
Hiller, S. (2016). The validation of the Citizen Science Self-Efficacy Scale (CSSES). International Journal of Environmental and Science Education 11.5, pp. 543- 558. https://psycnet.apa.org/record/2017-16685-003
Hoffmann, C. P., Lutz, C., 8 Meckel, M. (2015). Content creation on the Internet: A social cognitive perspective on the participation divide. Information, Communication 8 Society, 18(6), 696-716. https://doi.org/10.1080/1369118X.2014.991343
Ibrahim, K., Khodursky, S., 84 Yasseri, T. (2021). Gender imbalance and spatiotemporal patterns of contributions to citizen science projects: The case of Zooniverse. Frontiers. https://doi.org/10.3389/fphy.2021.650720
Lee Dr, S. E. (2013). Education as a Human Right in the 21st Century. Democracy and Education 21.1: 1.
https://democracyeducationjournal.org/home/vol21/iss1/1
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial feminista para mujeres latinas
Locke, E. A., 8 Latham, G. P. (2002). Building a practically useful theory of goal setting and task motivation: A 35-year odyssey. American Psychologist, 57(9), 705. https://doi.org/10.1037/0003-066X.57.9.705
Ryan, R. M., 8 Deci, E. L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68. https://doi.org/10.1037/0003-066X.55.1.68
Ryan, J. (2003). Continuous professional development along the continuum of lifelong learning. Nurse Education Today, 23(7), 498-508. https://doi.org/10.1016/50260-6917(03)00074-1
Scháfer, T., 4 Kieslinger, B. (2016). Supporting emerging forms of citizen science: A plea for diversity, creativity and social innovation. Journal of Science Communication, 15(2), YO2. https://doi.org/10.22323/2.15020402
Schradie, J. (2012). The trend of class, race, and ethnicity in social media inequality: Who still cannot afford to blog? Information, Communication 8 Society, 15(4), 555-571. https://doi.org/10.1080/1369118X.2012.665939
Van Dijk, J. A. (2006). Digital divide research, achievements and shortcomings. Poetics, 34(4-5), 221-235. https://doi.org/10.1016/¡.poetic.2006.05.004
Zulkosky, K. (2009). Self efficacy: a concept analysis. In Nursing forum (Vol. 44, No. 2, pp. 93-102). Malden, USA: Blackwell Publishing Inc. https://doi.org/10.1111/j.1744-6198.2009.00132.x
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
144
Incubando lA feminista
Hacia un marco feminista para el desarrollo de la lA:
de los principios a la práctica Juliana Guerra
Derechos Digitales Colombia
Al percibimos las condiciones injustas en las que, cada vez más, los sis- temas algorítmicos se utilizan para la toma de decisiones, que afectan especialmente a las mujeres, las personas de género diverso y racializa- das, nos cuestionamos: ¿es posible desarrollar una lA que no reproduce lógicas de opresión? ¿Qué aspecto tendría?
Esta posibilidad podría ser aún remota, especialmente si se consi- dera que la mera idea de “inteligencia” incrustada en las teorías que originaron y aún sostienen el concepto de lA ignoran en gran medida los múltiples saberes que existen -y resisten- más allá del mundo occidental. Sin embargo, trabajando en América Latina identificamos varias experien- cias de desarrollo tecnológico inspiradas y guiadas por principios feministas enfocados en la justicia social y en la transformación que pueden inspirar iniciativas similares adaptadas a la lA. Con nuestro proyecto, buscamos resaltar las prácticas, teorías y perspectivas críticas que emergen de la región cuestionando la idea dominante de lo que es y puede ser la lA.
Intentando avanzar en esa dirección, hemos comenzado a desarro- llar una guía práctica para el diseño colaborativo de sistemas de lA. La guía
se alimenta de tres fuentes:
Inteligencia Artificial Feminista 1 46 Hacia una agenda de investigación en América Latina y el Caribe
Hacia un marco feminista para el desarrollo de la lA: de los principios a la práctica
o Diferentes conjuntos de tecnologías relacionadas con principios feministas y de justicia social
o Guías feministas desarrolladas en América Latina para la producción y gestión de datos, así como para el despliegue y mantenimiento de infraestructura
o Experiencias concretas de mujeres que trabajan en el campo de la
IA en América Latina
Teniendo en cuenta que una lA feminista debe abordar las necesidades y las preocupaciones locales previamente identificadas por un grupo interesado que forma parte de las personas proyectadas como futuras usuarias, esta guía no es aplicable a los sistemas de lA a gran escala.
En un proceso inicial de cinco pasos, el objetivo de esta guía es llegar a un entendimiento común de los riesgos, oportunidades y capacidades para el desarrollo de un sistema de lA. Ella sugiere a los desarrolladores identifi- car si un sistema de lA es la solución más adecuada para el problema al que
una comunidad quiere responder y, de no ser así, avanzar con alternativas.
Cuando la opción es continuar con la lA, la guía orienta la toma de decisiones conscientes e informadas en el diseño de un sistema que tenga en cuenta el uso de bases de datos, herramientas y entornos de trabajo, así como las políticas de recolección, almacenamiento y gestión de datos. El aspecto más importante del proceso de diseño de lA es que es continuo, activo y basado en acuerdos y toma de decisiones colectivas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 47
Hacia un marco feminista para el desarrollo de la lA: de los principios a la práctica
¿Por qué un marco feminista para desarrollar lA es la
mejor solución?
Estas consideraciones a nivel de diseño de lA son clave dados los efectos discriminatorios de los sistemas de lA en poblaciones históricamen- te marginadas que ya fueron documentados por activistas y académicos de todo el mundo. Desde una perspectiva feminista latinoamericana, creemos que para reducir los efectos discriminatorios de la |A estos grupos deben participar activamente en su proceso de concepción, diseño y desarrollo, y se deben implementar criterios de evaluación de impacto construidos de abajo hacia arriba. Para comenzar este proceso, es necesario encontrar una base común de comprensión y flujo de trabajo entre los grupos intere- sados en implementar una lA y los equipos de desarrollo tecnológico.
Una IA feminista latinoamericana no termina en un sistema particular. El proceso de definir su adopción o no, así como el ciclo completo de su desarrollo, deberían, más que eso, facilitar aprendizajes y entendimientos compartidos críticos sobre qué es la tecnología y cuáles son su potencial, impactos y las dinámicas de poder detrás de ella.
Buscamos construir tecnologías que sirvan al bien común. Estamos convencidas de que, como cualquier otro desarrollo sociotécnico, un sistema de lA por sí solo no puede generar transformaciones positivas. Nuestra propuesta se enfoca en transformar las prácticas en torno al diseño y desarrollo de sistemas de lA para incorporar los conocimientos, perspectivas e inquietudes de quienes los utilizarán o estarán sujetos a ellos. También intenta fomentar un entorno de trabajo abierto y colaborativo de diálogo permanente, donde sea posible hacer frente a los riesgos,
oportunidades y conflictos inmersos en los sistemas de lA.
Inteligencia Artificial Feminista 1 48 Hacia una agenda de investigación en América Latina y el Caribe
Hacia un marco feminista para el desarrollo de la lA: de los principios a la práctica
Próximos pasos
En la etapa de creación de prototipos, continuaremos trabajando en las fases de desarrollo e implementación de lA de la guía, así como refinando el proceso de diseño inicial. Realizaremos una reunión de diseño participativo (tipo hackatón), basada en un proyecto concreto de lA feminis- ta, para discutir cómo implementar la guía. Junto con las participantes de la primera etapa de esta iniciativa, así como el grupo de personas involucradas en este proyecto feminista de lA, revisaremos críticamente la guía y la complementaremos con los aprendizajes que surjan de las características particulares del flujo de trabajo de desarrollo de lA. Como resultado tendremos una segunda versión de la guía práctica, así como insumos para seguir trabajando en propuestas feministas para auditar y
desarrollar evaluaciones de impacto de sistemas algorítmicos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 49
Diagnóstico y mitigación de
sesgos desde América Latina
sobre procesamiento de
lenguaje natural (PLN) Laura Ación
Laura Alonso Alemany Luciana Benotti
Matías Bordone
Beatriz Busaniche Lucía González
Alexia Halvorsen
Fundación Vía Libre Argentina
Los modelos de aprendizaje automático y los sistemas basados en datos se utilizan cada vez más para asistir procesos de toma de decisiones. El ob- jetivo de este proyecto es adaptar y disponibilizar herramientas para la de- tección, diagnóstico, prevención y mitigación de sesgos en aplicaciones de tratamiento automático del lenguaje humano, enfocado en las necesidades específicas de la región latinoamericana.
En particular nos enfocaremos en el análisis de los llamados word embeddings. Estas son técnicas de procesamiento de lenguaje natural de amplio uso que, de forma totalmente automática, representan el significado de palabras a partir de su uso en grandes cantidades de texto. Esta técnica se utiliza para desarrollar aplicaciones como el auto-completado de textos o
la traducción automática. El problema radica en que estos word
Inteligencia Artificial Feminista 1 50 Hacia una agenda de investigación en América Latina y el Caribe
Diagnóstico y mitigación de sesgos desde América Latina sobre procesamiento de lenguaje natural (PLN)
embeddings se obtienen a partir de textos que tienen sesgos y prejuicios subyacentes, que de esta forma se trasladan a las aplicaciones. Pero como estos embeddings son artefactos complejos y opacos, resulta muy difícil detectar esos sesgos.
Mediante este proyecto disponibilizaremos técnicas y herramientas para analizar sesgos de word embeddings y mitigarlos, con un foco espe- cial en el español de la Argentina y latinoamericano. Pondremos énfasis en sesgos basados en género, contra migrantes, aporofobia, capacitismo y la marginación de comunidades históricamente desaventajadas. Un contexto que difiere sensiblemente al de estudios y trabajos similares realizados en países del norte global. Las herramientas desarrolladas en el marco de este proyecto integral facilitarán a personas sin conocimientos técnicos previos el uso de tecnologías desarrolladas en instituciones académicas del norte global.
De esta forma, buscaremos reducir la barrera tecnológica para que especialistas de la región de ámbitos como la sociología, trabajo social, economía, comunicación, referentes de distintas comunidades, educación, etc., puedan incidir con sus conocimientos específicos en estos artefactos
tecnológicos tan centrales en Inteligencia Artificial.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 5 1
Feminismos en inteligencia artificial: herramientas de automatización
hacia una reforma judicial feminista Ivana Feldfeber
Yasmín Quiroga
Data Género
Argentina
Clarissa Guevara Tecnológico de Monterrey México
Marianela Ciolfi Felice
KTH Royal Institute of Technology Suecia
en Argentina y México
La falta de transparencia en el tratamiento judicial de la violencia de género (GBV) contra mujeres y personas LGBTIQ+ en América Latina resulta en bajos niveles de denuncia, desconfianza en el sistema judicial y, por ende, reducido acceso a la justicia. Para abordar este problema apremiante antes de que los casos de GBV se conviertan en feminicidios, proponemos abrir los datos de las sentencias judiciales como un paso hacia una reforma judi- cial feminista. Identificamos el potencial de los modelos de inteligencia arti- ficial (IA) para generar y mantener conjuntos de datos anónimos para comprender la violencia de género, respaldar la formulación de políticas e
impulsar aún más las campañas de los colectivos feministas.
Inteligencia Artificial Feminista 1 52 Hacia una agenda de investigación en América Latina y el Caribe
Feminismos en inteligencia artificial: herramientas de automatización hacia una reforma judicial feminista en Argentina y México
Las autoras de este artículo son cuatro mujeres latinoamericanas que se autoidentifican como feministas interseccionales, radicadas en el Sur Global (Argentina y México) y en el Norte Global (Suecia), realizando tareas laborales y voluntarias en una variedad de contextos (educación, in- vestigación y ONG, principalmente DataGénero). Encontramos inspiración en las ideas de gobierno abierto y, en particular, de justicia abierta. Nuestro enfoque de la ciencia de datos está influenciado por el Feminismo de datos propuesto por D'lgnazio y Klein en 2020, que plantea pensar sobre los da- tos, sus usos y límites, guiados por la experiencia directa y por un compro- miso con la acción y con el feminismo interseccional. Nuestra posición con respecto al uso de la |A en temas sociales es anti-solucionista, es decir, con este proyecto no esperamos que las herramientas basadas en lA "resuel- van" el problema de la violencia de género, dado que esto, además de ser éticamente irresponsable, no sería factible y porque creemos que los pro- blemas sociales requieren soluciones sociales.
En este proyecto se propone la creación de un prototipo denominado AymurAl -en referencia al vocablo quechua aymuray o aymoray, cuyo sig- nificado se relaciona con las épocas de cosecha-, para uso en los juzgados penales de CABA y de México. Este prototipo empleará técnicas de lA para automatizar parcialmente la publicación y el mantenimiento de datos abier- tos del poder judicial en casos de GBV. Nuestra propuesta es generar una herramienta que pueda identificar fácilmente la información relevante en un documento de texto y extraerla como un conjunto de datos estructurado. Uno de los principales desafíos cuando se trabaja con documentos de texto
es convertir información no estructurada en un conjunto de datos estructu-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 53
Feminismos en inteligencia artificial: herramientas de automatización hacia una reforma judicial feminista en Argentina y México
rados, dado que esta tarea puede consumir mucho tiempo si se realiza manualmente. A pesar de que esta funcionalidad aparentemente está disponible en línea, estamos convencidas de que producir nuestras propias herramientas es el mejor camino, ya que estos sitios web suelen ser servi- cios pagos, pueden dejar de funcionar sin previo aviso, carecen de políticas claras de protección de datos o seguridad, y creemos que en el contexto latinoamericano es importante evitar depender de empresas privadas a la hora de crear tecnología. Nuestro objetivo es que AymurAl pueda ser utili- zado por cualquier persona del juzgado penal cuya tarea sea llevar un re- gistro de las sentencias judiciales firmadas por un juez.
Abordaremos nuestras preguntas de investigación con un espíritu exploratorio, iterativo y centrado en las usuarias (aprovechando y priorizan- do el conocimiento del personal judicial penal y de las organizaciones femi- nistas locales que trabajan con datos de justicia), con una sólida presencia de cuestionamientos éticos a lo largo de todo el diseño y proceso de desa- rrollo. Nuestros próximos pasos incluyen decidir qué herramientas de lA son mejores para nosotras, comenzar el desarrollo de AymurAl y la poste- rior implementación de nuestra herramienta en el Juzgado Penal N* 10 de
la Ciudad de Buenos Aires.
Inteligencia Artificial Feminista 1 54 Hacia una agenda de investigación en América Latina y el Caribe
___ _ Visiones desde los sures
La lengua como territorio cognitivo y su relación con concepciones tecnológicasl?!!
Yásnaya Elena Aguilar
Colmix México
La charla se titula “Lenguas como territorios cognitivos y nuevas tecnologías”. Quisiera poner antes en contexto, una de las cosas en las que me he involucrado ha sido en la diversidad lingúística, la lucha por los derechos lingúísticos, lo ya conocido. Pero en ese camino nos fuimos encontrando con un proceso que tenía que ver con cómo este tema también se estaba reflejando en las plataformas digitales. Tanto en internet, en las redes sociales, pero también en otro tipo de desarrollo, de apps y de software. Nos empezamos a dar cuenta de que había cada vez más perso- nas de pueblos indígenas que estaban trabajando en esto y empezamos
ahí un proceso. Pero hay muchas cosas que me inquietan sobre ese
[611 Esta ponencia magistral fue presentada en línea por la investigadora mixe Yásnaya Elena Aguilar Gil durante el Primer Encuentro Regional del hub de América Latina y el Caribe de la Red Feminista de Investigación en Inteligencia Artificial, f<a+i>r, realizado en marzo de 2022. La sesión fue moderada por Paola Ricaurte, líder del hub América Latina y el Caribe de la red f<a+i>r. La grabación de la conferencia está disponible en: https://youtu.be/fsy1sFijpqsO (N. de las E.)
Inteligencia Artificial Feminista 1 56 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
proceso y que me hacen plantear varios asuntos, tanto éticos como filosófi- cos, y también de tipo linguístico. Esa es un poco mi experiencia con este tipo de procesos.
Voy a empezar dando un breve contexto para que todas partamos del mismo piso sobre diversidad linguística actual y lenguas indígenas. Es decir, ¿de qué hablamos cuando hablamos de lenguas indígenas? Lamentablemen- te, por las políticas públicas y por una serie de cuestiones políticas y sociales, es muy común que no sepamos sobre la existencia de las lenguas distintas a las que utilizan los Estados. Yo misma me enteré ya bastante grande de que en Francia, antes del establecimiento del francés, se hablaban más de 10 lenguas. Son cosas que nunca pensaríamos, que en esa Francia europea, continental, en un Estado tan ejemplar de la construcción de un Estado en Occidente, no se hablara de esa diversidad. Entonces hay una especie de censura sistemática que hace que, por ejemplo, en México, suceda algo que no me parece nada lógico ni común, el hecho de que las personas en pro- medio no sepan cuántas lenguas se hablan en su paísl$21. Ese sería un dato básico, pero hay una especie de censura muy estructural. Por esa razón es que necesitamos este contexto. De ser una información compartida, no lo necesitaríamos y podríamos irnos directamente a otro punto. Trataré de ser
breve para que podamos ir a las otras reflexiones.
[62] En México hay 68 lenguas indígenas, de acuerdo con el catálogo “Variantes lingúísticas de México con sus autodenominaciones y referencias geoestadísticas”, publicado por el Instituto Nacional de Lenguas Indígenas. (INALI) Además de en español, el catálogo está disponible en cho'l de Chiapas, en mexicano del centro alto, en mixteco del oeste de la costa y en náhuatl de la Huasteca.www.inali.gob.mx/clin-inali/index_mexicano_centro.html (N. de las E.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 57
158
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Figura 1 Mapa “Idiomas del Mundo”
LANGUAGES OF THE WORLD
EACH DOT REPRESENTS THE PRIMARY LOCATION OF A LIVING LANGUAGE LISTED IN THE ETHNOLOGUE
|e2004 SIL
Adaptado de: Mapa Idiomas del mundo (reproducción Ethnologue)!631 En general tenemos un contexto en el que las lenguas indígenas en el mundo se encuentran dentro de una diversidad linguística bastante grande. Este mapa (Figura 1) es un mapa bastante conocido de
Ethnologue, que es un catálogo de lenguas en el mundo. Y hay una cosa
[63] Cada punto representa la ubicación principal de un idioma vivo enumerado en Ethnologue. Fuente: Gordon, Raymond G. Jr. (ed.), 2005. Ethnologue: Languages of the World, Decimoquinta edición. Dallas, Texas: SIL International.) Versión en línea en http://www.ethnologue.com: [1] (octubre de 2006).
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
muy interesante y es que aun cuando la humanidad comparte muchas ca- racterísticas en cuanto a sus sistemas de comunicación, también hay una gran diversidad. Hay una diversidad alucinante de lenguas, no es que sólo haya una lengua para toda la humanidad. Siempre es interesante saber por qué fue así, porque hay tantas. Claro, esto ha ido cambiando, y su distribu- ción ha sido afectada por muchas razones, ya que es algo que acompaña profundamente a la humanidad, pero actualmente existen entre 6500 y 7000 lenguas en el mundo. Contar el número de lenguas no es una tarea muy fácil. Si me vuelven a invitar, luego les digo por qué exactamente contar lenguas y saber exactamente cuántas hay, aunque lo parezca, no es nada fácil. Por esto decimos que son entre 6500 y 7000 lenguas en el mundo. Hay gente que dice que son diez mil y gente que dice que son seis mil, pero ese es más o menos el rango. Y actualmente, estas lenguas están distribuidas en el mundo así, como se ve en el mapa (Figura 1).
A mí me gusta mucho este mapa porque muestra cómo en la actualidad —no siempre fue así— los países del Norte Global tienen poca diversidad. Como podemos ver, la diversidad linguística se está concen- trando hacia el Ecuador. Si pensamos en el planeta como una esfera, yo siempre digo que está en su pancita, en medio de su pancita. Lo pueden ver, más o menos esta línea que recorre ahorita desde Oaxaca, Mesoamérica, hacia el área donde estoy, que se ve súper roja, nos vamos hacia África y luego Oceanía y es como una franja donde está gran parte de esa diversidad. También hay una relación que siempre repito y que es- pero algún día poder hacer una tesis de doctorado, si la vida me da, sobre
si es una relación causal o no, o por qué los lugares del mundo con mayor
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 59
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
diversidad de lenguas también tienen mayor diversidad de especies bioló- gicas. Eso es increíble. Es decir, en la lista de países con más diversidad o más número de lenguas, también hay mucha diversidad de especies biológicas. ¿Es una relación causal o no? No lo sé, pero existe, o sea el dato está ahí. Y también en esta época del capitalismo tardío, no sorprende entonces que también las especies biológicas, junto con la diversidad lingúística, estén tan amenazadas.
Entonces estos son esos países y esa es la distribución de las len- guas del mundo en la actualidad. Sin embargo, empezó a suceder algo, que tiene que ver con la construcción de los Estados, que en los últimos 300 años cambió la proporción de hablantes. Antes era muy normal tener en un solo imperio mucha diversidad de lenguas y muchas lenguas que ahora consideramos indígenas tenían muchísimos hablantes. Esa propor- ción se ha visto modificada de tal manera que ahora el noventa y seis por ciento de la población mundial habla el cuatro por ciento de las lenguas del mundo, mientras que el cuatro por ciento de la población del mundo habla el 96 por ciento de las lenguas del mundo. ¿Esto qué significa? Esto va a tener consecuencias políticas y sociales. En general, esas poblaciones han sido minorizadas. No eran minoritarias, sino que han sido minorizadas, y por lo tanto van a estar encapsuladas dentro de otras estructuras sociopolí- ticas y luego van a tener poco poder de libre determinación y de autonomía. No van a tener un poder político para tomar determinación sobre sus terri- torios, sobre sus políticas sociales, educativas, etcétera. Esta proporción actual no es la proporción que siempre había habido. Por lo tanto, hay que
decir que la diversidad linguística está depositada en la población que ha
Inteligencia Artificial Feminista 1 60 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
estado siendo oprimida sistemáticamente. No es al revés. No es que los países ricos sean ricos en diversidad linguística, está sucediendo lo contra- rio.
Pero insisto, esa proporción no siempre fue así. Hubo una coacción muy clara para que esta sea hoy sea la proporción. Y esto ha llevado a una situación en la que, según un catálogo, ustedes lo pueden buscar en Inter- net, está en inglés, se llama “Endangered Languages Catalog”, de la Uni- versidad de Hawaiiló“ que es una especie de observatorio, cada tres meses muere una lengua en el mundo. Y parece que eso se está incre- mentando, ese dato es de 2014, si no me equivoco, la tasa está por actua- lizarse. Lo que sí sabemos es que eso se está perdiendo muy rápidamente. Y bueno, esto sí ya es casi un lugar común: en menos de cien años, aún en este siglo, la mitad de las lenguas del mundo habrá desaparecido. Es un lingúicidio que nunca había sucedido con anterioridad. Y esto mucha gente lo atañe a la globalización. Y ahí es donde las tecnologías digitales, las re- des sociales y todo esto, esto que nos permite estar hablando ahorita, se ve como una amenaza. Sin embargo, yo no estoy de acuerdo. No creo que sólo sea la misma existencia de estas nuevas tecnologías, sino más bien que eso tiene que ver con otro tipo de procesos a los que me voy a referir
más adelante.
[64] http://ling.hawaii.edu/research-current/projects/elcat/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 6 1
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Ya vimos aquí qué bonita diversidad. Hay un montón de lenguas. Todas son iguales científicamente hablando, pues todas tienen componen- tes sintácticos, fonológicos, igual de complejos. Todas las lenguas. No le falta nada a ninguna. Todas tienen lo que un sistema de comunicación hu- mano debe tener, que ha tenido siempre. Fonologías complejas y comple- tas, sistemas sintácticos, semánticos, léxicos. Todas son iguales, comparativamente hablando. Tendrán diferencias en cuanto a que en cada lengua dices una cosa de una manera, pero todas tienen palabras y todas sirven igual para la comunicación. Es decir, no hay una lengua que sea mejor para comunicar que otra. El hecho de que una lengua se elija como lengua franca o lengua vehicular, que comunica diferentes lenguas, es un asunto más bien social, por eso va cambiando. Antes fue el latín, luego fue el francés, ahora es el inglés y el chino mandarín ya viene pronto. Pero eso no tiene nada que ver con su complejidad, no hay lenguas más útiles a la comunicación que otras. Nos tocan las que nos tocan, una o dos o tres, por razones geográficas, sociales.
De toda esta gran diversidad, algunas lenguas han sido catalogadas como lenguas indígenas y otras no. La gran pregunta es: ¿qué hace que una lengua sea indígena y otra no? Esto parece una pregunta muy obvia, pero no lo es en absoluto, como lo vamos a ver. Por ejemplo, hay una len- gua indígena que se llama sami, que se habla en Noruega, en Rusia, en Suecia y en Finlandia. Y esta lengua es hermana de la lengua que se habla en Finlandia, o sea, del finlandés o finés. Lo que a mí me impresionó mu- cho es que son lenguas hermanas, muy cercanas, como el español y el ita-
liano, pero el sami es considerado una lengua indígena y el finlandés, no.
Inteligencia Artificial Feminista 1 62 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Entonces mi pregunta era, si vienen de una misma raíz, ¿por qué una es lengua indígena y la otra no? Es como si la hermana de mi lengua materna mixe, que es el soke, fuera catalogada como no indígena y el mixe, sí. En- tonces mi pregunta era ¿por qué? Una posibilidad tiene que ver con una solución aparentemente fácil, que sea por el número de hablantes, ¿no? Y bueno, no necesariamente. No hay hablantes vivos de latín. El latín que conocemos, ese que escuchamos en las misas, bueno, quienes hayan es- cuchado misa, o ese que hablaba Séneca, ya nadie lo habla. Ya nadie lo ha adquirido. Una lengua viva es aquella que está siendo adquirida por la po- blación infantil y hoy nadie lo está haciendo, nadie está adquiriendo el latin como primera lengua, como lengua materna, por lo que esa es una lengua muerta. Tiene un número de hablantes no orgánicos y no por eso es una lengua indígena, y no por eso sufre discriminación. Es decir, yo puedo sa- car en un cajero en el Vaticano, un cajero que me va a dar el servicio en latín, pero en mixe, que sí, es una lengua viva, no. Así que eso tiene que ver con otras situaciones. El caso del danés también o del yoruba, que es una lengua indígena que se habla en el centro de África. El yoruba tiene cuatro veces más hablantes que el danés, el danés tiene muy poquito en comparación, pero el danés no es una lengua indígena y el yoruba sí. Yo- ruba está perdiendo hablantes, los derechos lingúísticos de sus hablantes están siendo amenazados, pero el danés, no. Tampoco hay un desprecio interiorizado. No hay familias danesas que digan “por fin aprendí inglés, debo olvidar esta horrible lengua que es el danés”. Eso no sucede. ¿Por qué con las lenguas indígenas sí? Muchas tenemos más hablantes que el
danés o el sueco o el noruego, por ejemplo. Si no tiene que ver con el nú-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 63
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
mero de hablantes, ¿qué es lo que hace que una lengua indígena o no? Y por lo tanto, que pueda tener una representación en internet, por ejemplo, distinta a otras.
Vamos a hacer una pequeña trampa y pensar que una lengua indí- gena es la que habla un pueblo indígena, parece obvio ¿no? Pero la pre- gunta sigue ahí, ¿qué hace que un pueblo sea indígena y otro no? ¿Qué hace que el pueblo yoruba sea un pueblo indígena pero el pueblo danés, no? O que los finlandeses no sean indígenas, pero los sami, sí, aunque ha- blan lenguas muy semejantes. En este continente, claro, eso está muy re- lacionado con la historia colonial. Y con la racialización de lo indígena. Sabemos que las razas biológicamente no existen, que hay un proceso de racionalización, es decir, de creer que cierto segmento de la población es una raza. Esa es la racialización con base en ciertas características. Bueno, para la nación sami, toda esa racialización del color de la piel choca un po- co, porque la nación es un pueblo indígena, pero todo lo que entendemos sobre el color de la piel es muy diferente. Son personas muy, muy blancas, pero son indígenas. Entonces la pregunta otra vez es qué compartimos. ¿Yo qué comparto con mujeres sami? En la Figura 2 están en una mani- festación en una ciudad de Noruega porque están luchando también por su
territorio.
Inteligencia Artificial Feminista 1 64 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Figura 2
Samis protestando.
Adaptado de: reproducción (Ókologix/Wikipedia)
Yo no conozco la nieve, nunca he visto la nieve en mi vida, pero este pueblo vive en medio de la nieve. Empecé a sentir entonces que, cultural- mente, yo tengo más en común con una persona no indígena del Valle de Oaxaca que con los sami, que son indígenas. Así que no es un asunto, o una categoría, cultural. ¿Y qué tenía que ver con la nación mixe? Nos en- canta el basquetbol, en la sierra. ¿Y qué tenía que ver aun así con la na- ción Ainu? Esta es una foto de los ainu, que son un pueblo indígena en
Japón. (Figura 3)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 65
166
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Figura 3
Pueblo ainu protesta en Japón.
EAN SB) 7 RA
Adaptado de: Lewallen, A. E. (2008) Indigenous at last! Ainu Grassroots Organizing and the Indi- genous Peoples Summit in Ainu Mosir" The Asia-Pacific Journal, Vol. 48-6-08, November 30, 2008
Aquí están en una manifestación que dice “We want the indigenous rights”!$51, Y hay pueblos y naciones indígenas en China, en Estados Uni- dos, en Brasil, por supuesto. En Argentina también, en Chile también. Hay
pueblos indígenas en todo el mundo. Mi pregunta es, ¿qué lo sostiene?
[651 “Queremos los derechos indígenas.” (N. de las E.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
¿Por qué una persona mapuche en Chile, una persona ainu en Japón, una persona sami en Noruega y yo, en Oaxaca, somos indígenas? ¿Qué nos une?
Para mí es un asunto que tiene que ver más bien con un tema políti- co. Lo que compartimos son dos características. Somos pueblos que su- frieron un tipo de colonialismo antes de que se formaran los países. Pero no sólo eso, porque en África hay pueblos que sufrieron colonialismo euro- peo, pero que al convertirse en países dejaron de ser considerados indíge- nas. Así que también hay que cumplir con el siguiente requisito: ser pueblos que no conformaron un estado nación y quedaron encapsulados dentro de alguno. Y eso es muy, muy importante. El hecho de que el mundo esté di- vidido en un poco más de doscientos países en la actualidad, de que haya doscientas fronteras, doscientas banderas, doscientos himnos, es algo muy, muy nuevo en la humanidad. El hecho de que yo necesite un pasa- porte no tiene ni 300 años, eso es muy poquito en la historia de la humani- dad. Y estas entidades que se llaman países no se hicieron con base en fronteras culturales, sino por asuntos de poder. Y controlaron muy bien ciertas fronteras y crearon discursos, como si ser mexicano, por ejemplo, fuera una categoría cultural. Y tampoco lo es. Es un estatus legal, significa que tú estás regido bajo este conjunto de leyes. Eso es lo único que com- partimos todas las personas mexicanas. Entonces, al crear eso, había algo que les estorbaba. No bastaba con decir pues está la ley porque sí, sino que tenían que decir qué tenemos un pasado común, una lengua común, un todo en común. Y entonces empezaron a combatir cualquier otra identi-
dad que no fuera la que promovía el Estado. Así que eso es lo que com-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 67
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
partimos los pueblos indígenas. Por eso, como no hay un país sami, como no se conformó un Estado, el pueblo sami es un pueblo indígena. Finlandia no, porque si lo conformó. Los yoruba podrán ser muchísimos, pero como de sus territorios quedaron desplazados en varios países, entonces son un pueblo indígena. Los daneses de Dinamarca, no. ¿Por qué? Porque por muy pequeños y poquitos que sean, hicieron su país aparte, independien- tes. Entonces es un asunto de poder. Por lo tanto, una lengua indígena es una categoría política. Es decir, son las lenguas que hablan estos pueblos que no tienen un Estado independiente.
Por esta razón, yo me peleo mucho con el hecho de que lo indígena se vea como algo esencial. O sea, yo esencialmente no soy indígena, estoy en esa condición política. Entonces, como dice el historiador Sebastian van Doesburg, si arbitrariamente fijamos el comienzo de los pueblos mesoame- ricanos con la domesticación del maíz, llevaríamos unos 9000 años siendo zapotecos, de los cuales 500, indios, y 200, indígenas, porque eso es lo que se empezó a usar con el establecimiento del Estado. Entonces, es una condición histórica y eso nos permite pensar en un futuro donde podamos seguir siendo mixes sin ser indígenas, que haya desaparecido esa cate- goría que viene de una opresión. Por lo tanto, esa es una categoría muy política. Son lenguas que hablan pueblos o naciones que no formaron Es- tados, que no son utilizadas ni reivindicadas por un Estado. El finlandés, sí, el finés, lo usa el estado de Finlandia para la educación, para todo. Pero el sami no, los niños y las niñas sami tuvieron que ir a escuelas para que obli- gadamente aprendieran un noruego, finés o sueco y les negaron hablar su
lengua. Lo que esos estados han hecho es que si tú no hablas la lengua del
Inteligencia Artificial Feminista 1 68 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Estado, te vamos a hacer todo para que te olvides de tu lengua, violando tus derechos humanos y tus derechos linguísticos. Parafraseando al linguista alemán Max Weinreich, esas son lenguas sin ejército ni marina, es lo único que compartimos.
En el caso de México, son lenguas que descienden de las que se hablaban cuando llegó Cortés y que han sido discriminadas y combatidas activamente por el Estado. Esa es una característica muy interesante. Y bueno, no es casual que esto suceda después de la conformación de los Estados-nación. Si pensamos que hay seis mil quinientas lenguas en el mundo y sólo doscientos países, y cada país eligió una lengua, eso quiere decir que hay seis mil trescientas lenguas que están siendo combatidas por el Estado y que sólo doscientas se usan desde el poder. Y no sólo es que hayan elegido una para usar el poder, sino que además les molesta que existan más. Eso es bien interesante:el modelo de país está bien obsesio- nado con el monolinguismo. Les encanta eso. La premisa de los países es el monolingúuismo. Y esto se está empezando a reflejar también en las pla- taformas digitales. Además, en este continente en el que estoy, la mayoría de los Estados, de los países, eligieron sólo una lengua. Y ni siquiera son doscientas, ya que no es que cada uno haya elegido a uno más, en Perú, el quechua, en México, el náhuatl, y en Guatemala, el kagchikel. No. La ma- yoría decidió elegir el español, así que ya son menos. Así que, por ejemplo, en México, hay una monolinguización progresiva y diseñada. Aquí tenemos un mapa del monolingúismo en México (Figura 4) que está elaborado por
Julio César Gallardo, del colectivo al que pertenezco, Colmix.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 69
170
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Figura 4
El monolingúismo en México
EL MONOLINGÚISMO EN MÉXICO
PENJATY TU'UKYI JA AYUUJK KYAJPXTEP
POBLACIÓN MONOLINGÚE POR MUNICIPIO
[Joa20%
O 20a40x% E] 40 a 60% MA 60 asox MM so a 100%
OAXACA HA
Elaboración propia con base en el Censo de Población y Vivienda 2010, INEGI.
Reproducción: Julio Cesar Gallardo/COLMIX
Entre más claro es el color, menos monolingúismo hay. Como pode- mos ver, son los pueblos indígenas los que tienen a México no tan mal en la lista del multilingúismo. Pero en realidad la mayoría de la población es monolingue, porque la existencia de la enseñanza del inglés también es un fracaso. Puedes pasarte doce años en la escuela básica con clases de inglés y no aprender y claramente el problema no es de los estudiantes.
Son demasiadas horas estudiando inglés sin que podamos aprenderlo, hay
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
un problema en su didáctica estructuralmente. Entonces, tampoco el inglés. Así que de ser un territorio rico, con sociedades multilingúes, como se ha visto que había, México está pasando a ser monolingúe, con muchas con- secuencias. Porque además cognitivamente hay muchas ventajas de ser bilingue o trilingúe. Es algo que es natural en las sociedades, el cerebro humano no dice “oye, ¿quieres aprender este inglés? Desinstala tu mixe, que ocupa espacio en tu cerebro”. Se crea una falsa disyuntiva entre el inglés y las lenguas indígenas. El cerebro no es así. El cerebro dice: “pues las que quieras”. De hecho, hay un límite, en realidad por memoria, no por capacidad. Por eso hay personas que hablan muchas lenguas. El cerebro humano lo puede hacer, nada lo imposibilita.
Así es que se ha creado ese monolingúismo y estamos viendo todos los problemas de eso. En 1820, después de 300 años de colonialismo eu- ropeo, el 70 por ciento de la población hablaba una lengua indígena, el 70 por ciento en este territorio. Una sociedad bastante multilingúe, en donde el náhuatl, sobre todo, era la lengua franca. Pero las lenguas francas no han atentado en contra las demás, no es el hecho que el inglés sea la lengua que comunique con mucha gente lo que automáticamente hace que las otras lenguas desaparezcan. El latín jamás atentó contra las demás. Nunca vimos tanta muerte de lenguas porque el latín fuera la lengua franca, ni por el francés o por el hecho de que el náhuatl fuera la lengua franca en este territorio, eso no implicó la muerte de las otras. Por eso no creo que sea por la globalización. Las personas en Dinamarca aprenden danés y también aprenden inglés, sin ningún problema. Podríamos perfectamente hablar de
mixe y zapoteco y español e inglés.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 7 1
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Como vemos, el Estado se empeñó sobre todo mediante políticas contra la población infantil. Y yo creo que sí es muy importante decirlo, fue- ron casos de tortura física. Todavía en 2015 hubo reportes de una escuela en Oaxaca donde a los niños los mandaban a limpiar las letrinas cada vez que hablaban en su lengua. Y con una serie de otros castigos en los que no me voy a detener acá, pero que violaron los derechos humanos, de la po- blación infantil sobre todo, pero de muchas personas. Y eso sigue pasando.
Entonces en 200 años sucedió esto: en 1820, tenemos el 70% de la población que habla una lengua indígena y en el 2020, el 6.1%. El descen- so de 2010 a 2020 fue dramático. De verdad que ni quería ver los resulta- dos del Censo 2020. Estaba muy temerosa porque yo sabía que algo estaba pasando, pero fue catastrófico. Fue muchísimo más de lo que está- bamos calculando que iba a suceder. Hubo lenguas que perdieron en diez años el 20% de su población hablante y una muy cercana al 30% también. Esa es la situación en la actualidad.
Pensando que las lenguas son territorios cognitivos, aquí quisiera decir algo que parece provocador, pero es para poder dar pie a otro tipo de reflexión. La provocación es decir que la lengua no es cultura. Me vas a decir, ¿cómo que la lengua no es cultura? Sí, la lengua es algo de toda cul- tura. El problema es que en español, en inglés no, pero en español, la pa- labra cultura tiene dos significados grandes. Una es una definición antropológica, en donde todo es cultura. El hecho de decir que hay eleccio- nes democráticas y que hay un Instituto Nacional Electoral, eso sería cultu- ra política. La cultura occidental en un sentido antropológico. Sin embargo, también en México, en español, hay una definición de cultura como mani-
festación estética o artística. Entonces tenemos ministerios de cultura o se-
Inteligencia Artificial Feminista 1 72 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
cretarías de cultura. La provocación de que la lengua no es cultura va en el sentido de que la lengua no es un rasgo artístico. No debería estar en los ministerios de cultura. ¿Por qué? Porque la lengua, a diferencia de la dan- za, por ejemplo, o de la música de los pueblos indígenas, no es un evento. No quiere decir que no son importantes, las danzas son fundamentales, la música también. Pero no todo el tiempo estamos danzando. La danza tra- dicional tiene un momento en que sucede. La música, la podemos escuchar o ejecutar, tiene su momento. La comida también, hay un momento para comer. También los textiles, hay un momento para hacerlos. Pero la lengua no, no es “ya, tuve mi evento lingúístico y ya”. No. La lengua nos atraviesa totalmente, nos atraviesa desde que amanecemos y pensamos “híjole, ya se me hizo tarde, no debí apagar ese despertador”. Eso sucede en una lengua. Después vengo y doy esta charla y en esa charla estoy usando una lengua. Y el hecho de que estoy usando español y no náhuatl tiene un tras- fondo político. Pudo haber sido que ahorita estuviéramos hablando en náhuatl, y el hecho de que hablemos en español y no en náhuatl o en mixe tiene consecuencias y tiene una explicación. Y aún más, yo puedo pelear- me con mi novio, regañar a mi gato y voy a usar una lengua. Puedo callar- me y estar pensando “qué aburrida presentación” y lo voy a hacer en una lengua, mi pensamiento lo va a vincular a una lengua. Puedo incluso no estar hablando y la lengua está presente. Es más, puede incluso ser un fenómeno involuntario. Podría dormir y soñar y voy a soñar en una lengua, las personas de mis sueños van a estar hablando en cierta lengua. Y eso quiere decir que, incluso más allá de mi voluntad, lo linguístico empapa to- do. No sólo es un instrumento de comunicación, sino de pensar, o sea, de
ser humanidad. El racismo, claro, hace que despreciemos nuestros textiles,
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 73
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
nuestras danzas, nuestro ser, eso se desprecia, se ve racializado, se ve mal. Pero en la lengua nos estamos metiendo con el instrumento cognitivo con el que estamos construyendo las sociedades en las que estamos. Y también el pensamiento. La lengua es un vehículo también para aprender del mundo. Cuando a mí me enseñen por fin a programar un código de programación, la persona que va a estar hablando ahí lo va a hacer en una lengua. No hay manera de escapar a lo linguístico, nos hace profundamen-
te humanas, nos atraviesa.
Territorios cognitivos despojados
Por lo tanto, despojar violentamente de ese instrumento de pensa- miento es algo muy violento. Es como si cada vez que quisieras expresar un pensamiento en tu lengua, yo te golpeara, eso es lo que sucedió con la población infantil. Y además, quisiera que te expresaras en una lengua en la que apenas estás aprendiendo. En esos procesos de desplazamiento hay problemas cognitivos serios. Porque no puedes expresarte con todos los mecanismos léxicos, semánticos, cognitivos en tu lengua, pero tampoco has alcanzado a agarrar las de la lengua que te están imponiendo.
Entonces hay una relación muy fuerte entre la autonomía, el territorio y la lengua. El sistema educativo que está en español, el sistema judicial también. Hay un montón de personas en la cárcel que no se han enterado de qué van sus juicios porque no tienen intérpretes. Hay amigas mías que han sufrido en los hospitales violencia obstétrica de la peor, porque no ha-
blan su lengua y no les facilitan un intérprete. Y ahí se te va la vida. En el
Inteligencia Artificial Feminista 1 74 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
judicial se te puede ir la libertad. En todas las áreas, están empujando a que no podamos vehicular nuestro pensamiento ni nuestra comunicación en nuestras lenguas. Entonces, entre mayor autonomía hay para un pueblo indígena, mayores posibilidades hay de que pueda fortalecer su lengua. Lamentablemente, la respuesta del gobierno actual en México es terrible al respecto, no hay mucho cambio. Hay un recorte presupuestal terrible en el área. O sea, del Estado al parecer no va a venir la solución, va a seguir con esta inercia, aunque ha cambiado en el discurso.
La violación sistemática de los derechos lingúísticos es el despojo de un territorio cognitivo. Nuestras visiones de la naturaleza ante el cambio climático, por ejemplo, nuestras maneras de clasificar las especies que están en esos ecosistemas, nuestra relación con los bienes naturales como el agua, etcétera, están atravesados por cómo los categorizamos en nues- tra lengua. No es que se nos despoje solo de un aspecto, un rasgo de nuestra cultura. No, la lengua vehicula todo eso. A diferencia de las danzas, de la música, la lengua no necesita un espacio para para ocurrir. Más bien, hace que ocurra todo lo demás. ¿Cómo puedo pensar mi territorio, cómo puedo, o lo que sea, sin lengua? Es que simplemente dejas de ser se ser parte de la humanidad, de la sociedad en la que eres. Pensarse sin lengua
es muy difícil. ¿Cómo podemos disociar la innovación tecnológica del capitalismo?
Compartimos una visión amplia de la tecnología. Esto viene de una
tradición muy occidental, en donde se separó la naturaleza de la humani-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 Es
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
dad, es una vieja discusión en Occidente. Siempre se dice: “¿eso nació o se hizo?” Lo que nace es de la naturaleza, lo que ya viene ahí. Y lo que se hizo, es la sociedad, la humanidad. Y entonces hay una diferencia entre lo silvestre y lo natural y la civilización y lo humano. Y esta división no funcio- na para nada en muchos pueblos indígenas, no funciona para todas las na- ciones del mundo. Es obvio que eso es muy occidental. Cuando tú ya separaste a la naturaleza de la humanidad, ya no te sientes o te concibes como un mamífero más, o unas mamiíferas más, del ecosistema en el que estés, entonces ya puedes explotar la naturaleza. ¿Y cómo la vas a explo- tar? Pues con técnica. La voy a explotar con técnica, la tecnología va a es- tar al servicio de eso, y vamos “Wow, la humanidad es tan inventiva, tiene tanta técnica”, y por lo tanto todas esas herramientas son tecnología.
Sin embargo, para otras culturas la tecnología va a ser mucho más compleja. Esta relación no va con su ambiente. Va a estar mucho más ali- neada con la diversidad. Por ejemplo, en la tradición de pensamiento mixe, la milpa, que es un sistema cultivo bien complejo, que tiene un montón de desarrollos adaptativos de miles de años, es un tipo de tecnología. Pero sobre todo en la actualidad se ha hecho casi un sinónimo de hablar de tec- nología y capitalismo. La tecnología además es algo muy celebratorio, a mí también me gusta mucho, la innovación, la creación, que media entre las sociedades y también entre nuestros entornos. Pero esa fascinación por crear y pensar e innovar de la humanidad fue capturada por el capitalismo. Entonces, de la tecnología de la que se habla generalmente, yo siempre di-
go “ah, no, esa es la tecnología capitalista”.
Inteligencia Artificial Feminista 1 76 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Pero existe tecnología fuera, por lo menos en las periferias del capi- talismo. Si aceptamos que no hay vida fuera del capitalismo, podemos aceptar que por lo menos hay espacios periféricos, como varios teóricos han planteado. Por lo tanto, ¿cómo podemos disociar la creación tecnológi- ca, la innovación tecnológica, del capitalismo?
Primero, se plantea como si antes del capitalismo y de la revolución industrial no hubiera tecnología, cuando sabemos que en todo el devenir de la humanidad siempre ha estado ahí. La escritura es una tecnología, el sis- tema milpa es una tecnología, siempre ha habido tecnología. Ahora, el últi- mo desarrollo tecnológico, desde la revolución industrial, que se está acabando el planeta, ha configurado una tecnología que ha sido funcional para poner a la humanidad en esta crisis en la que estamos con el cambio climático. Además, estos equipos que tenemos acá necesitan de insumos naturales, necesitan petróleo, plástico, tienen adentro minerales que están siendo extraídos de ciertos territorios. Entonces no podemos disociar ese desarrollo o no podemos hablar de la tecnología sin los sustentos, sin el hardware. Y el hardware viene de algún lado. Por más que algo sea wire- less, y por más que hoy día parezca que hay algo en el aire, que es el wifi, que posibilita que hablemos, eso no es verdad. Hay unos servidores que tiene Zoom y que seguramente necesitan enfriarse, y para eso necesitan energía, y esa energía va a salir de algún lado, y necesitan cables. Todo esto del Wireless es como una pantalla que está ahí, pero que sí está sus- tentado en cosas tangibles. Y esas cosas tangibles están siendo extraídas de cierto territorio, afectando la vida de ciertas personas, y además explo-
tando cierto tipo de cuerpos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 77
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Entonces, al recordarlo todo el tiempo, podemos empezar a decir si es posible plantear otro tipo de tecnología y cómo podemos hacer para que sea más justa. Cuando hablamos de esta relación, casi siempre en la con- tra-argumentación, la gente sale con una falacia, que yo le llamo la falacia ad iPhone. Así como hay ad hominem, esa es la ad iPhone, porque siempre te terminan diciendo “sin el capitalismo y esta tecnología, tú no tendrías un iPhone y no estarías ahí discutiendo desde fuera”. Bueno, yo no tengo un
iPhone, pero para el caso es lo mismo.
Conocimientos comunales
Lo que se ha visto es que esta natural curiosidad e impulso de inno- vación que hay en la humanidad, que es la tecnología, que media, que de- sarrolla instrumentos y que crea y media la relación entre los ambientes, los ecosistemas, las personas y las sociedades, está siendo privatizada. Se volvió mercancía. La milpa, que es una tecnología que les digo que tiene un montón de de cosas desde hardware, es decir, tiene una serie de elemen- tos que puedes tocar, también tiene una serie de conocimientos tecnológi- cos, técnicas de cómo implementarlos para tener milpa, y que se opone a la lógica del monocultivo. Existe esta manera de relacionarse con el territorio a través de la milpa que no es de nadie. No tengo que pagarle una patente a quien haya inventado la milpa para que me deje usarla. Es decir, hay un montón de desarrollo tecnológico en muchos pueblos y en muchas tradicio- nes que no se han vuelto mercancía. No tienen patentes, nadie me va a
decir que soy una pirata, se entiende que es un conocimiento comunal.
Inteligencia Artificial Feminista 1 78 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Y en realidad, si nos acercamos un poco, la tecnología capitalista también lo es. Cuando alguien me dice “bueno, pues ustedes serán muy pueblos indígenas, pero no han podido desarrollar un iPhone”, yo les digo, claro que yo reclamo, nada más que para que alguien desarrollara un ¡Pho- ne, llegamos a ese punto, o para que tuviéramos un iPhone, o cualquier tipo de avance tecnológico, el que quieran, hubo gente que pudo dedicarse a pensar y para eso esclavizó a otra. Y hubo un montón de personas que les estaban cocinando y éramos mujeres, Y hubo un montón de territorios de- vastados que resulta que eran los nuestros. Entonces, las ganancias las estás privatizando, pero yo puse también, yo puse ahí mi trabajo. Mucha de la tecnología no se pudo haber desarrollado sin la esclavitud, sin los siste- mas esclavistas. Yo también tengo derechos, nada más que todas las ga- nancias te las estás quedando tú. Y las desventajas y las pérdidas, las estoy sufriendo yo, sobre los cuerpos y sobre los territorios. Así, yo siento que también invertí en eso, pero más bien las ganancias se las lleva alguien más. Y eso sabemos también sobre la participación de las mujeres. Para que los hombres se pusieran a hacer sus innovaciones tecnológicas, se usó el tiem- po y el esfuerzo de nosotras. Por lo tanto, también tenemos mérito en eso.
Al hacer esto, también la tecnología ha contribuido a ver la naturale- za como un otro que puedes explotar y convertir en mercancía. Ahí es cuando esa tecnología se vuelve un poco malvada o juega en contra del planeta. ¿Qué sucede en esos otros principios tecnológicos de pueblos indígenas o de tradiciones que no son capitalistas, o que o que plantean otro tipo de alternativas? Primero es que naturaleza y humanidad no pue-
den ser separados. Por eso mucha gente ve como pensamiento primitivo el
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 79
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
hecho de que pidamos permiso a la tierra para sembrar, por ejemplo. Pero nosotros decimos “no, no podemos separar la tecnología milpa del ritual”. De pronto, tenemos cierta experiencia. La mayor parte de las reservas na- turales en el mundo están en manos de pueblos indígenas. Sospechamos que tenemos algo que decir al respecto para posibilitar la vida. Y la emer- gencia climática ya nos está trayendo mucha muerte.
Entonces la pregunta es ¿para qué necesitamos progreso tecnológi- co? ¿Necesitamos progreso o podríamos adaptar la tecnología a otra idea, que es el buen vivir? Esa idea está en muchas lenguas, hay diferentes ma- neras de llamarlo. Está el Sumak Kawsayl*fl, está el Sumaq Qamañal*”, hay muchas maneras en muchas lenguas de decir *vivir bien”. La idea de progreso nos está llevando a un punto en el que estamos, no nos está lle- vando un buen vivir si se plantea que vamos a tener una catástrofe climáti- ca. Entonces, ¿para qué necesitamos el progreso?
Hay gente que me dice “bueno, es que tú quieres en un mundo primitivo sin celulares”. Y yo contesto “no, no es que yo quiera eso, lo que quisiera es nada más que los celulares no respondieron a la lógica del mercado”. Si necesito un celular para hablar con mi abuela, que está muy lejos y está enferma, muy bien. Pero que no tenga que cambiarlo cada vez que el mer- cado me diga, a cada año tener un nuevo teléfono, el más actualizado,
etcétera. Eso son cosas distintas. A eso se ponen las tecnologías de la di-
[66] En quechua. (N. de las E.)
[67] En aymara. (N. de las E.)
Inteligencia Artificial Feminista 1 80 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
versidad, luego con más tiempo hablaré. Un ejemplo es el sistema milpa, pero hay muchos ejemplos de esa tecnología de la diversidad, que respon- den a darte una mejor calidad de vida. Porque la tecnología actual, aunque te diga que te va a dar una mejor calidad de vida, lo que te está dando es una emergencia climática. Yo quisiera ver entonces cómo es posible que estas tecnologías que vienen de la tradición capitalista puedan ser hackea- das, y creo que gran parte del trabajo que hacen ustedes va hacia allá, que puedan ser hackeadas, replanteadas, hasta encontrarnos con una idea que es el tequio. Seguramente muchas de ustedes lo conocen, tal vez algunas no, pero tiene que ver con una institución social de colaboración, que yo llamo reciprocidad. No es que los pueblos indígenas seamos bien buena onda y muy buena gente, no es un asunto moral, en el que todos nos ayu- demos, porque vivimos en un mundo ideal, en donde nos agarramos de la mano y decimos “sí”. No, tiene que ver con un asunto de una conciencia profunda de que mi bien individual depende de un bien colectivo, hasta podríamos decir que es conveniente, si lo quieren ver así. Esta reciprocidad se da entre familias, se llama también mano vuelta o tunjénpet. Si tú vas a hacer una boda, pues yo te voy a poner cinco litros de mezcal, suponga- mos. Y cuando yo vaya a tener una fiesta, te voy a avisar con tiempo para que después tú me des a mí. Esto aplicado a muchísimas cosas, de ver- dad, incluso a la economía. En el mercado hay un sistema que cada vez más se está perdiendo, pero ahí está. Y la reciprocidad colectiva, si tene- mos un problema, si se desgajó el cerro, vamos todos a resolverlo. Si tene- mos un deseo, una fiesta, es un deseo colectivo. Eso se hace y está muy
institucionalizado, esta tarea de trabajar juntos gratuitamente para un bien
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 8 Ú
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
común. Y en diferentes pueblos recibe diferentes nombres: minga, lum- bung, kol, tequio, kumunytunk, paina, faena. Es decir, no es algo periférico ni menor. Entonces, uniendo tecnología con la palabra tequio, que es cola- borativa, inventé este neologismo que es la tequiología. Una tecnología desde la reciprocidad, que no esté bajo los intereses del capitalismo, un desarrollo tecnológico colaborativo. El software libre es lo más cercano a este tequio que ya conocemos en nuestras comunidades. No es igual, pero es lo más cercano. Las tecnologías de código abierto, la milpa sería una, las podemos ir mejorando. Entonces, ¿qué hubiera sido del desarrollo, de la innovación tecnológica, de no haberse atravesado el capitalismo, ni las patentes, ni los códigos cerrados? Seguramente tendríamos más avances, si lo queremos ver desde ese punto de vista. No es que el capitalismo haya hecho que la tecnología haya avanzado, para mí incluso la retrasó, porque no puedo entrar a mejorar un código, no puedo entrar a hacerlo si no me permiten participar de ello. Así podríamos pensar en tecnologías contra-ca- pitalistas, en las que las tequiologías tengan un lugar.
Y las lenguas indígenas se encuentran en esta situación, en donde lo que hemos hecho por la tecnología en los pueblos indígenas es dar nuestros recursos naturales. Meten minería en nuestros territorios, explotan nuestros cuerpos históricamente. Hay crónicas desde el siglo XVI sobre trabajo forzado en minería. Hemos participado de eso, pero ahora nos di- cen que no tenemos ningún crédito en ello.
Ahora nos acercan un poco, muchas veces como diciendo “pobreci- tos, no han tenido tanto acceso a la tecnología y ahora les vamos a en-
señar”. Es una visión muy estrecha de la tecnología. Pero bueno, ahí
Inteligencia Artificial Feminista 1 82 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
estamos y es verdad que tampoco tenemos muchas opciones. Entonces, ¿cómo hacemos para utilizar esas plataformas para ayudar un poco a nuestras propias resistencias en lo que creamos un mundo post capitalista tequiológico? Mientras, necesitamos interactuar, claro.
Acá les enseño cómo se construyen las casas en donde se hace co- lectivamente. A cada uno, en una unidad familiar, colectivamente se le cons- truyó una casa. Así, se garantiza el derecho al techo de otra manera. Entonces, supongamos esto mismo, pero con tecnología y con nuevas tecno- logías. Bueno, hay un montón de tecnologías, dado que somos humanidad, pero ahora hablando específicamente de estas digitales. Lo que ha hecho el sistema y el Estado es crear nichos de tecnología para nuestras lenguas. Puedes hacer una app de cuentos, pero nada más para la literatura. Para el sistema de salud no. Acceso a nuevas tecnologías para administración de justicia, olvídenlo. Para administración pública, tampoco. Se lo hace para cier- tas cositas, para lavar la cara. A eso un amigo lingúista le llama, *glottowas- hing”, así como hay “pinkwashing”. Es decir, hacer como que si atenderan a la
diversidad linguística, pero en realidad no.
Activismo digital de lenguas indígenas: “era como un tequio, nada más digital”
Ante esa situación, se crea un proceso muy interesante que Tajééw Díaz, una compañera mixe del colectivo, ha impulsado mucho, en el que también hemos participado, que se llama activismo digital de lenguas indí- genas. Si por un lado los espacios digitales replican esta asimetría y esta
injusticia, por el otro hay activistas que están tratando de ir contracorriente.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 83
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
Ha habido encuentros. El primer encuentro fue en 2014 y fue interesantísi- mo, además de darnos herramientas, la mayor parte de las personas que nos formaron eran también de pueblos indígenas. Eso es muy importante. Pero también hubo discusiones éticas. ¿Qué vamos a poner o no en la red?, por ejemplo, cuando tiene que ver con Internet. ¿Por qué lo vamos a hacer? ¿Con quiénes vamos a trabajar? Con qué códigos, etcétera. Si va- mos a trabajar con Facebook y con Twitter y con Google, o no. No son de- cisiones fáciles. Fue muy interesante y ha generado todo un movimiento a nivel continental. La iniciativa Global Voices y Rising Voices tiene una línea de trabajo que se comenzó en ese año bastante interesante.
Por un lado, está el desarrollo de apps, sobre todo para enseñar lengua. Pero esas son apps que representan un gran esfuerzo, pero son muy limitadas, en el sentido de que no son cursos completos de lengua. No son como en Duolingo, sino que tienen palabras. En general, más que ha- blar la lengua, aprendes palabras. Así mismo, eso ha tenido un impacto en el imaginario, en la posibilidad de construir apps, de proteger lenguas con en ese cruce de tecnología y pueblos indígenas. En su momento sí, fue muy disruptivo, porque era como contestar el hecho de que a los pueblos indígenas siempre nos confinan al pasado.
Otras personas que encabezaron un movimiento que ahorita está un poco en stand by, pero ahí está, que es el Mozilla Nativo. Mozilla Nativo fue muy interesante porque fueron también personas que hablan lenguas indí- genas las que estuvieron ahí, en contacto, y que crearon este proceso. Fueron espacios de formación, pero también de encuentro y de trabajo más
técnico para localizar Firefox, no solo para computadora, sino también para
Inteligencia Artificial Feminista 1 84 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
celulares. Eso fue muy importante. Mucha gente, más que computadoras, va a tener celulares. Hay un montón de proyectos de localización, que sería como la traducción a lenguas locales. Hay muchos proyectos de localiza- ción de Firefox en lenguas indígenas, en guaraní, kagchikel, mixteco, zapo- teco, náhuatl, etcétera. Yo conocí a varios activistas, pude entrevistar a algunos.“Lo que nos gusta de las iniciativas como Mozilla es porque son de código abierto, entonces para nosotros ya fue muy natural”, decía Rodrigo Pérez, un gran activista digital, de los primeros. Decía “para mí fue muy na- tural trabajar con software libre, porque así lo hacemos en el pueblo. Era como un tequio, pero nada más en digital”. También hay iniciativas como la de Wikipedia, por ejemplo. Hay más de 10 mil artículos en la Wikipedia en náhuatl!$81. En maya, hay más de 6000, y por ahí va. Es también muchísimo trabajo colaborativo.
También en esos espacios, aparte de discutir, nos dimos cuenta de cuáles eran los problemas. Problemas más lingúísticos o más técnicos, de muchos tipos. Pero también hay personas, y es respetable y hay que dis- cutirlo, que trabajan con plataformas como Facebook, que sabemos que tiene varios problemas. Pero bueno, quién está fuera del capitalismo, ¿no? Que aviente la primera piedra. Pero sí, hay que discutirlo entre nosotros. Por ejemplo, esto es Facebook en kagchikell$%1. Puedes entrar y tener todo
Facebook en kaqchikel, que además, a diferencia de Twitter, ha tenido un
[68] https://nah.wikipedia.org/wiki/Cal/.C4%ABxatl
[69] El kagchikel es una lengua que pertenece a la familia maya hablada por la población kaqchikel en la región centro occidental de Guatemala. (N. de las E.))
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 85
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
impacto bien interesante en pueblos indígenas. Por otro lado, esto afecta la neutralidad de la red, como ya sabemos, etcétera, etcétera. Todo tiene sus
pros y contras, nada es sencillo.
Entonces, por un lado tenemos todo un desarrollo de apps, sobre todo para educación, pero ahí necesitamos mucha ayuda, en esta parte de transmisión lingúística y enseñanza de nuestras lenguas. Sí, es algo que yo personalmente necesito. Doy mis clases de mixe como segunda lengua y me gustaría tener un lugar donde las personas puedan ver las palabras en mixe, ver cómo se escriben y escucharlas también, hay un montón de co- sas que necesitamos. Por otro lado, está todo esto de la colaboración de software libre e iniciativas como Wikipedia, como Mozilla Nativo, etcétera, o Linux. También ha habido colaboración desde nuestro colectivo con Linux, entonces como software libre más lenguas indígenas, lo que me parece muy padre. Pero también hay iniciativas como de Facebook o de Google que están tratando cada vez más de desarrollar cosas con lenguas indíge- nas, con todos los problemas que eso plantea.
En este escenario, ¿cómo podemos hablar de una soberanía tec- nológica cuando no tenemos autonomía ni en nuestro territorio concreto? En tiempos del capitalismo tardío, lo veo complicado. La pregunta sería ¿es posible tener soberanía tecnológica sin desprenderse del sistema capitalis- ta? Yo creo que no porque, todos los insumos para lo tecnológico, el wire- less, la intranet, todo eso, sigue saliendo de estos territorios. Y hay mujeres todo el tiempo que tenemos que estar ahí, poniendo el cuerpo para sacar la
minería, para que no te contamine el agua, etcétera. Yo lo veo complicado,
Inteligencia Artificial Feminista 1 86 Hacia una agenda de investigación en América Latina y el Caribe
La lengua como territorio cognitivo y su relación con concepciones tecnológicas
pero claro, es un sueño como el sueño tequiológico. Pero mientras esto pasa, ¿cómo usar las herramientas tecnológicas? ¿Bajo qué ética, para ayudar en procesos de resistencia de los propios pueblos indígenas? Tipos de mapeos, por ejemplo. Sabemos que Femsa, que es una empresa, la que tiene Coca-Cola, tiene un mapeo de cuerpos de agua en México mucho más impresionante que el de la Conagua. Son cosas que nos vamos en- contrando y conociendo. Pero entonces, ¿cómo hacemos para que esas herramientas tecnológicas ayuden a defendernos? Para mí la respuesta sería tequiologías múltiples. No hay una sola respuesta, sino hay muchas, en muchas tradiciones tecnológicas del mundo. No sólo hay una tecnología,
no solo es la occidental, y no siempre es para el progreso. Muchas gracias.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 87
Alexa, aményi.!'% Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías Tajéeéw B. Díaz Robles del hablal”?! Colmix
México
Por fortuna, crecí en una comunidad mixe en Oaxaca, en un periodo en el que en muchos espacios se promovía el orgullo por los elementos propios de la cultura. Aunque en mi familia el español y algunas palabras de cariño en zapoteco estaban presentes, la lengua mixe era la predominante. A muy temprana edad, aprendí que el mixe podía escribirse, en la primaria no tuve clases de mixe pero la mayoría de mis maestros eran de la misma comunidad y eran hablantes de la lengua. Durante mi educación secundaria tuve mi primer acercamiento a una computadora con internet, todavía re- cuerdo con cuánta curiosidad creamos nuestra primera cuenta de correo
electrónico, además de las clásicas iniciales combinadas con fechas de
[70] Aményi es ¡Cállate! en lengua mixe de Tlahuitoltepec.
[71] Una versión de este texto fue compartido durante el Taller de tecnologías del habla para las lenguas indígenas de América que tuvo lugar el 6 de mayo de 2022 en las instalaciones de la UNAM y que fue co-convocado por Common Voice de Mozilla y otras instituciones.
Inteligencia Artificial Feminista 1 88 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
nacimiento o signos zodiacales, recuerdo que al menos tuve un correo con una palabra en mixe, yootsWVnorecuerdo.com, no recuerdo haberme sen- tido mal por usar mi lengua en esas computadora, tampoco era consciente de las limitaciones. Durante el bachillerato teníamos una gran sala de cóm- puto, cada vez que tomábamos una clase de computación podíamos utilizar una computadora con acceso a internet, comencé a ser una gran usuaria de los foros de chat y del correo electrónico, en español, eso sí. Paralela- mente, participaba de espacios multianuales que tenían lugar durante los periodos vacacionales en diferentes comunidades de la Región Mixe para aprender a escribir y leer en mixe, en esos espacios coincidimos con personas jóvenes y adultas de otras comunidades mixes. Este pequeño recuento escolar y tecnológico para establecer mi lugar de enunciación, comparando el mayor acceso que tuve en mi comunidad a estas tecnolo- gías y una actitud positiva hacia mi lengua, se diferencia de comunidades en las que la discriminación y por tanto el rechazo por la lengua indígena está muy presente y la brecha digital aún es muy grande.
Una vez establecido el contexto desde el que enuncio estas reflexio- nes, quisiera focalizar el modo en el que la pandemia evidenció de una ma- nera muy clara la brecha de conectividad y de acceso a plataformas y dispositivos digitales. A pesar de los esfuerzos de clases por televisión y por radio, fue imposible garantizar el derecho de la educación (oficial) a la mayor parte de la población que habita las zonas rurales e indígenas y seguramente a muchas zonas de las periferias de las grandes urbes.
Desde el 2019, el proyecto Endless Oaxaca Multilingúe de la Funda-
ción Alfredo Harp Helú Oaxaca A.C. inició sus actividades en Oaxaca. Se
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 89
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
trata de un proyecto piloto para conocer el impacto del uso de un sistema operativo robusto en zonas con poca o nula conectividad, a la vez que se incorpora contenido digital en lenguas indígenas de las comunidades. En abril de 2022, realizamos una presentación de libros en una comunidad mixe, Santa María Ocotepec, y a la pregunta de cuántos libros en mixe tenían, algunos respondían que ninguno y otros más recordaron que en sus computadoras tenían algunos. Somos conscientes de que incluir libros digitales en una computadora no revitaliza ni mucho menos salva lenguas. Sin embargo, requerimos de todos los esfuerzos posibles para poder apoyar los esfuerzos locales y comunitarios para que una lengua minoriza- da y discriminada no muera. De ahí que las herramientas digitales pueden ayudar en esta tarea.
Muchas veces hemos escuchado decir que las lenguas indígenas son orales, que no se escriben o que en todo caso no necesitan escribirse. Si bien podemos tener largas conversaciones sobre esos supuestos, prefiero solo afirmar que una lengua viva, una lengua sana, no solo debería poder hablarse, debería también tener la posibilidad de escribirse, grabar- se, visibilizarse, disfrutarse, es decir: USARSE en sus diferentes formas y soportes.
Cuando vemos una película de ciencia ficción, o re-visitamos las películas que hace 20 años nos hablaban de estos años, nos sorprende- mos (o tal vez no tanto) de los avances tecnológicos que ha tenido la humanidad. En un contexto con una crisis ambiental y humanitaria, al pare- cer irreversible, siempre está la pregunta de qué puede hacer la ciencia y
tecnología para revertir guerras y la escasez de agua. Poco o nada hasta
Inteligencia Artificial Feminista 1 90 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
ahora. Pareciera que las rutas que transitan, por un lado, los desarrollos tecnológicos, son paralelas pero independientes de la mayor parte del res- to, del destino hacia el que va caminando la humanidad.
Mientras en un contexto de un capitalismo más salvaje cada vez, las lenguas indígenas, pero más que las lenguas, las hablantes de las lenguas indígenas, están siendo cada vez más empobrecidas y asesinadas, pues cada vez son menos funcionales al sistema imperante, nos preguntamos sobre el papel de las tecnologías de la información y ahora en particular en las tecnologías del habla y su papel en esta resistencia por la supervivencia de las personas hablantes de estas lenguas, en los procesos y luchas por
la existencia de nuestras lenguas.
“Google, pon la alarma a las 6 de mañana”
Hace unos meses escuché por primera vez a mi mamá pedirle a un aparato que le programara el despertador a las 6 a.m. Mi primera reacción fue decirle: “¿sabes que ese aparato registra todo lo que escucha?”
Esos dispositivos obviamente no son comunes en las comunidades, pero tampoco son completamente ajenos. La migración y en general, la movilidad social, ha permitido un mayor acceso a dispositivos y también ha creado mayores necesidades de conectividad, por lo que muchas comuni- dades han buscado, por su cuenta o con el apoyo de organizaciones exter- nas, lograr acuerdos con particulares para tener servicios telefónicos o de internet. Por eso no sabemos cuántos “googles” o “alexas” estén haciendo corto circuito o estén almacenando horas de lenguas no hegemónicas en
sus bases de datos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 9 1
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
Recientemente en la prensa mexicana se difundieron noticias sobre las filtraciones de millones de datos de contribuyentes del SATI721. ¿Quiénes son esas 49 000 personas/empresas que tienen esos datos y cómo los están usando o los usarán? Desde mi muy incipiente conocimiento sobre las tecnologías del lenguaje y en particular de las del habla, entiendo que para que un modelo funcione, requiere de una cantidad considerable de datos, lo que implica que haya voces grabadas o un corpus escrito por lo menos.!73l
Durante el hackaton organizado por Common Voice y la UNAM du- rante abril de 2022, uno de los equipos presentó un juego del gatol”* de voz, que para poder identificar los números del 1 al 9 en náhuatl ingresó más de 300 datos para su entrenamiento. Esto nos da una idea de cuántos datos se requerirán para tener una aplicación más compleja que nos pueda resolver problemas en la vida cotidiana y que podrían ayudar a las perso- nas que hablan lenguas indígenas. Con un ejercicio aparentemente tan sencillo, podemos ver qué tan grandes pueden ser las desventajas en cuanto a recopilación de datos que tienen, por ejemplo, las lenguas en alto grado de desaparición, que cuentan con un número limitado de hablantes y que probablemente no han tenido mucha documentación. No ahondaré más porque no conozco a detalle ningún caso. Pero sí puedo hablar de mi
lengua, el mixe.
Se puede consultar la nota en: https://www.eleconomista.com.mx/opinion/SAT-huachicoleo-de-datos-personales-20220424-0005.html
[72
[73
Por ejemplo para Common Voice, nos compartían que cuando donas tu voz, no es grabar cualquier frase que se ocurra, sino que lees un corpus escrito previamente preparado. [74
Para mayor precisión, pues en cada país el nombre puede variar, consulte: https: //arquimedes.matem.unam.mx/mati/actividades/actividad_gato/index.html
Inteligencia Artificial Feminista 1 92 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményi. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
Según datos del último Censo de poblaciónI”*1, alrededor de 130 mil personas mayores de 3 años hablan alguna de las variantes de la lengua mixe. Viendo en detalle los datos del Censo, hemos visto que el desplaza- miento en las nuevas generaciones es, por decir lo menos, preocupante en todas las comunidadesl”$l. Ya no hay transmisión generacional garantizada. Ante esta realidad nos preguntamos ¿quiénes van a aportar los datos para que la inteligencia artificial funcione en mixe? ¿Deberíamos ya comenzar una campaña intensiva de documentación de nuestra lengua imaginándo- nos lo peor?
Para la lengua mixe, existen varios esfuerzos de personas mixes que utilizan tecnologías digitales para visibilizar y apoyar su enseñanza- aprendizaje. Podemos identificar aplicaciones como la promovida por el equipo de Kumoontun, una app para Androidl”71 y Apple del mismo nombre, que nos ofrece una serie de datos: texto y audio, para aprender nombres de cosas, comunidades y otras palabras para familiarizarnos con la lengua ayó0k, variante de Santa María Ocotepec. Una de sus principales ventajas es que una vez instalada, se puede utilizar sin necesidad de internet.
También podemos encontrar una serie de aplicaciones web desa-
rrolladas por el programador mixe Luis Balbuena Gómez en su página
[75] https://censo2020.mx/
[76] Aquí se puede conocer en detalle algunos datos relacionados con la estadística de hablantes de la lengua mixe, a partir del Censo de población 2020: https: //www.inegi.org.mx/app/indicadores/?t=1328ag=00*bodydataExplorer
[77] Se puede descargar en la Play Store: https: //play.google.com/store/apps/details?id=com.seit.felix.kumoontunggl=US
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 93
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
tlahuitoltepec.com!”8l, que concentra una gran cantidad de información y la presenta de manera interactiva en formato de juegos. Una de sus desven- tajas es que no se puede utilizar sin internet.
Hay algunos otros esfuerzos como la aplicación para Android *Mixe eyuujk” desarrollada para mixe de Tamazulapam y otra creada por el equipo Yalam, que desarrolla diversas aplicaciones para lenguas indígenas, incluido el mixe.
Además de estas aplicaciones web y móviles, existe contenido en plataformas como Facebook y Youtube, que son difundidas por redes so- ciales y que tienen un alto grado de difusión entre hablantes de mixe. Quiero resaltar especialmente JE Yin-ET, una de las páginas que desde hace más de 10 años crea contenido diverso, entre ellos, el doblaje de escenas de películasl??l.
Finalmente, quiero mencionar el trabajo desarrollado por el colectivo al que pertenezco, el Colmix, un espacio en el que hemos desarrollado di- versos materiales, sobre todo textuales, que se pueden descargar de ma- nera libre en nuestra páginal?% y se pueden consultar en nuestras redes sociales. En los últimos años hemos contribuido, utilizado y promovido la
plataforma StoryWeaver para la creación de material de lectura ilustrada,
[78] Se pueden consultar en el siguiente enlace: http://ayuujkjaaky.tlahuitoltepec.com
[79] Se puede consultar en el siguiente enlace: https://www.youtube.com/user/xontun
[80] www.colmix.org
Inteligencia Artificial Feminista 1 94 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
actualmente se pueden leer al menos 100 libros en 6 variantes de lengua mixe en la plataforma.!8!1
La mayor parte de los recursos digitales que mencioné es desarrollada y/o promovida por personas que hablan la lengua mixe y que están utilizando diversos recursos digitales para difundir y promover nuestra lengua. Somos conscientes de que estas acciones tienen poco impacto real en la transmisión generacional de la lengua. Sin embargo, sí tienen un impacto en el estatus que tiene nuestra lengua entre las nuevas generacio- nes, que ven el mixe en plataformas en las que estamos acostumbradas a solo leer, escuchar o ver español u otras lenguas hegemónicas como el inglés. Sabemos que las tecnologías del habla van más allá de estas apli- caciones y plataformas y claro que si nos preguntan, quisiéramos que nuestra lengua, en tanto lengua viva, también pudiera estar disponible en esas tecnologías, la pregunta es ¿cómo queremos que nuestra lengua sea
incluida en esas tecnologías?
Soberanía de datosl*821
Hemos establecido que para cualquier tecnología de la lengua es ne- cesario recopilar datos y sistematizarlos para que puedan ser utilizados para las aplicaciones. Un traductor necesita mucha información para poder real-
mente ser útil. También se ha establecido que estos datos, por ejemplo la
[81] https://storyweaver.org.in/stories?language=Mixe8query=8sort=Ratings
[82] Retomo este término a partir de la experiencia del desarrollo de tecnologías del habla en maorí: https://www.technologyreview.es//s/14144/la-inteligencia-artificial-esta-creando-un-nuevo-orden-mundial-colonial
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 95
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
grabación de voces, tiene que provenir de una diversidad de voces, para que pueda ser más precisa, es decir, necesitamos no solo voces de hombres jó- venes, que podría ser el sector de la población con más acceso a la tecno- logía, también necesitamos voces más adultas y más jóvenes, y por supuesto, también de mujeres. Por tanto, la lengua que queramos incluir en estas tec- nologías deberá contar con hablantes, es decir deberán ser lenguas vivas.!83
En este punto una pregunta importante es ¿dónde se almacenan esos datos? y esto nos lleva a otras como ¿quién promueve esas tecnologías? ¿quién utiliza estos datos? La mayoría de las iniciativas que conocemos son promovidas por investigadores o investigadoras de universidades o centros de investigación, pues son los espacios que pueden acceder a ciertas tec- nologías. Incluso algunas aplicaciones más sencillas han sido promovidas desde centro universitarios que desarrollan proyectos de titulación y que una vez concluida su formación, abandonan y dejan sin actualización y mantenimiento las aplicaciones. No se tiene certeza de dónde se quedan almacenadas esas listas de palabras y las grabaciones que son utilizadas para desarrollar esas tecnologías.
En el caso de las universidades, asumimos que los datos se almacenan en los servidores de las instituciones, sin mucha claridad de quién tiene acceso y qué diferentes usos se puede hacer de los datos. Quisiera puntualizar aquí que el hecho de que una plataforma o institución mencione
que sus datos son abiertos o disponibles por sí mismo no garantiza el acceso
[83] Esto es más complejo, porque una persona que lee en la lengua indígena no necesariamente debe ser hablante. En condiciones ideales, sí tendrían que ser las mismas personas hablantes.
Inteligencia Artificial Feminista 1 96 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
a las personas que hablan estas lenguas o que aportaron estos datos. Primero por el conocimiento de las bases de datos y después por lo com- plejo que puede ser el acceso o por los recursos necesarios para hacerlo.
Algunos investigadores y estudiantes han comentado sobre el celo que tienen los hablantes con su información, algunas veces puede tratarse de un asunto monetario por ciertas prácticas previas, pero también se trata de un asunto de confianza. ¿A dónde se llevan mi voz? Si con las fotos existen creencias de que se llevan el alma ¿qué se llevan con la voz? Estos planteamientos son válidos, pues vienen de las vivencias y creencias de las comunidades, por lo que deben ser consideradas para cualquier investiga- ción que realicen. El cuidado que se tiene con los datos y el posterior acceso a ellos deben ser prioridad en cualquier proyecto de recopilación de datos, para establecer confianza con las personas que hablan estas lenguas. Estos protocolos deben ser considerados tanto para gente externa como para gente de las mismas comunidades.
Hemos conocido de protocolos que otros pueblos indígenas en el mundo han desarrollado para el manejo de sus datos, esto nos inspira para promover poco a poco estas conversaciones en nuestras propias comuni- dades, no solo para el uso de datos para el desarrollo de tecnologías del habla, sino también para proyectos cinematográficos y de otra índole que involucre alguna forma de extracción de datos de la comunidad. De otra manera estaríamos atestiguando el extractivismo de datos, práctica que esperaríamos se pudiera combatir, no solo desde las comunidades sino también desde los centros de investigación en los procesos de formación
de sus estudiantes.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 97
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
Las lenguas, sus variantes y sus hablantes
Las lenguas vivas cambian, tanto por el contacto con otras lenguas como por los nuevos conocimientos que se incorporan y los cuáles se van nombrando, ya sea con préstamos o con neologismos. En este sentido, nos preguntamos cómo se define, en una tecnología del habla, qué variante será la que se utilizará. ¿Será la que tenga más hablantes? ¿La que tenga una comunidad organizada que promueva un proyecto en particular? ¿La comunidad de una persona hablante que colabora con algún proyecto? Esa decisión será importante e impactará directamente en procesos regionales y locales que tenga la lengua. En el caso del mixe, sería interesante ver cómo se transcribirá un texto en un programa, que conjunto de grafías será elegido, si lo que coloquialmente llamamos ptkero o el bodeguero.
En realidad aquí lo que las tecnologías deberán atender serán las necesidades de los hablantes de la lengua, retomar los procesos que de por sí se estén desarrollando de manera local y hacer el proceso lo más colaborativo posible y atendiendo los protocolos comunitarios que para tal fin existan.
Como referencia, presento el caso de las Semanas de Vida y Lengua Mixe, un espacio itinerante que desarrolla actividades de enseñanza- aprendizaje de la lectura y escritura de la lengua mixe, que en los años recientes ha dado un giro en sus actividades para centrarse en la planifica- ción linguística del mixe y así atender los retos que tenemos en el presente. En el marco de estos esfuerzos, desarrollamos actualmente un Seminario Permanente de Didáctica de la Lengua Mixe y uno de los grandes retos es
el desarrollo de diversos materiales didácticos para la enseñanza de la
Inteligencia Artificial Feminista 1 98 Hacia una agenda de investigación en América Latina y el Caribe
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
lengua. Aquí tenemos una oportunidad de desarrollar aplicaciones que puedan impactar directamente en actividades concretas que llevan a cabo hablantes de la lengua mixe.
Hasta ahora, lo común es que las personas que hablamos las len- guas indígenas seamos promotores entusiastas de ciertas tecnologías y plataformas, y aunque, al menos en las ciencias sociales, ya sea política- mente incorrecto decir informantes, seguimos jugando ese rol de solo ser personas que proveen cierta información que extraen personas especializadas. Poco a poco, las nuevas generaciones hablantes de las lenguas indígenas están accediendo a carreras tecnológicas más especializadas, por lo que deberíamos promover que esas mismas perso- nas sean las que se involucren en el desarrollo de todas aquellas tecnolo- gías del lenguaje que deseemos en las comunidades. El hecho de que una persona hable la lengua no garantizará una perspectiva comunitaria o un respeto por ciertos protocolos comunitarios, pero tendremos la ventaja de que al ser parte del colectivo, podremos tener una comunicación más directa e incluso tener mecanismos de rendición de cuentas que nos permitan garantizar nuestra soberanía en las decisiones que tomemos.
Finalmente, me gustaría reiterar que no queremos estar al servicio de bases de datos de los desarrollos tecnológicos, queremos co-crear o mejor, tener la capacidad para crear nuestras propias tecnologías, siendo conscientes siempre de sus implicaciones y alcances, sin dejarnos llevar por la lógica del desarrollo por el desarrollo sin considerar las implicaciones que puede tener el uso de un dispositivo o de una herramienta, no solo
para nuestras comunidades sino también para otros pueblos del mundo.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 1 99
Alexa, aményí. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla
Aunque no sé si en algún momento podremos decidir si Alexa logrará descifrar algo en mixe, quiero pensar que si eso pasa, también
tendremos la posibilidad de callarla, de decirle: Alexa amenyi.
Inteligencia Artificial Feminista 200
Hacia una agenda de investigación en América Latina y el Caribe
201
Inteligencia artificial:
un manifiesto descoloniall$4] Aarathi Krishnan Angie Abdilla - A Jung Moon
Buse Cetin : Carlos Affonso Souza Chelle Adamson : Eileen M. Lach Farah Ghazal : Jessica Fjeld Jennifer Taylor - John C. Havens Malavika Jayaram
Monique Morrow - Nagla Rizk Paola Ricaurte : Raja Chatila Ravit Dotan * Sabelo Mhlambi Sara Jordan : Sarita Rosenstock
Este manifiesto es una provocación, una pregunta, una apertura, una danza acerca de un futuro descolonial de los sistemas de inteligencia artificial (IA). Es un manifiesto que apunta a la pluriversalidad, ya que refleja una visión entre muchas. Esperamos invitar al intercambio, a la conversación y a promover
declaraciones de las personas afectadas por las tecnologías de lA.
[84] El equipo detrás del Manyfesto se reunió en torno a un deseo compartido de ir más allá de los prejuicios occidentales en el aislamiento
que impulsa la tecnología global a medida que avanzamos en la era algorítmica. Compuesto por un grupo de expertos en lA, ciencias sociales, humanidades, derechos humanos, de diferentes regiones geográficas, género, racialidad, edad y otras interseccionalidades, el grupo se reunió en el transcurso de 16 meses, en medio de la pandemia, para prever y redactar este manifiesto. Esta iniciativa es solamente el comienzo: el objetivo del grupo es proporcionar este texto como base para talleres, documentos y polít- icas, todo ello diseñado para manifestar la conciencia de que para que la tecnología sea "justa", "digna de confianza" o "responsable" no puede abarcar los sesgos e intereses de una sola región o pueblo. Sostenemos que las asimetrías epistémicas en torno a la lA se traducen en asimetrías sociales y económicas. El orden de los autores es alfabético. El grupo que coordinó las sesiones durante el ejercicio colectivo estuvo compuesto por Buse Cetin, Sabelo Mhlambi, Paola Ricaurte, Jessica Fjeld y John C. Havens.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial: un manifiesto descolonial
Comenzamos con el reto que supone el lenguaje que utilizamos para hablar de lA: un lenguaje que se encuentra dominado, al igual que gran parte de la tecnología, por las voces de hombres blancos privilegiados de occidente. Intentamos desvelar, cuestionar, poner en tela de juicio y rein- ventar los supuestos que subyacen a este lenguaje, incluso cuando lo utili- zamos.
"Artificial" e "inteligencia" son términos con algunas connotaciones. Sus definiciones están sujetas a prejuicios culturales. La lA es una tecno- logía, una ciencia, un negocio, un sistema de conocimiento, un conjunto de narrativas, de relaciones, un imaginario. En cada una de sus facetas, nues- tro esfuerzo consiste en desmantelar el epistemicidio colonial de las formas de ser y conocer no occidentales. La palabra "descolonialidad" también re- suena de forma diferente en las distintas comunidades, incluso entre los pueblos originarios y aquellos para los que el colonialismo no es un hecho de la historia sino una realidad presente. Algunas personas rechazan el término descolonial en este contexto. Reconocemos tanto su uso como su rechazo.
No buscamos el consenso: valoramos la diferencia humana. Recha- zamos la idea de que un único marco epistémico y un modelo de mundo pueda regir universalmente. Rechazamos el lenguaje normativo occidental de la lA "ética" y las sugerencias de "inclusividad" que no desestabilizan los actuales patrones de dominación y asimetrías de poder. Rechazamos el si- mulacro ético de a través de principios que pretenden retocar, reforzar y blanquear el estatus quo, limitándose a amortiguar sus efectos devastado-
res. Rechazamos aquellas iniciativas que no reconocen cómo lo social y lo
Inteligencia Artificial Feminista 202 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial: un manifiesto descolonial
técnico están entrelazados y que las tecnologías tienen impactos tanto in- materiales como materiales sobre cuerpos racializados, etnizados, en par- ticular de mujeres, de territorios específicos. La descolonialidad rechaza el divorcio entre lo material y lo inmaterial, entre el sentir y el ser, el saber, el hacer y el vivir.
Las nociones de gobernanza descolonial surgirán de la comunidad y en cada contexto situado, cuestionando lo que actualmente son las narrati- vas hegemónicas. La descolonialidad no significa únicamente diversidad e inclusión. Para eliminar los ecos de la colonialidad en la lA será necesario reparar la injusticia y el presente y pasado despojo material y epistémico. Estas reinvenciones de la gobernanza de la lA reconocerán la sabiduría proveniente de la experiencia vivida y promoverán condiciones para hacer posible que quienes han sido históricamente marginalizados tengan la oportunidad de decidir y construir sus propios futuros sociotécnicos dignos. A diferencia de las estructuras de gobernanza centradas en Occidente, la gobernanza descolonial reconocerá cómo nuestros destinos están entrela- zados. Nos debemos mutuamente nuestro futuro.
Nuestra humanidad es relacional, se define por cómo nos vinculam- os unas personas con otras y con los demás seres. La tecnología tiene un lugar importante en esas relaciones. La creación -el arte, la narrativa- y la experiencia sensible, son algunos de los caminos que debemos explorar para potenciar la imaginación descolonial. Buscamos centrarnos en las prácticas de ingeniería, diseño, producción de conocimiento y resolución de conflictos de diversas culturas, basadas en sus propios sistemas de
valores.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 203
Inteligencia artificial: un manifiesto descolonial
Nuestra urgencia surge del riesgo de utilizar la lA como sistema de conocimiento para crear "verdades algorítmicas"” irrefutables que refuercen la dominación. Al hacerlo, se niegan y borran otros sistemas de producción de conocimiento y otras visiones, así como la agencia, la autonomía y las resistencias de otros pueblos. De este modo, la colonialidad de la lA va más allá del colonialismo de los datos: la lA está basada también en el ex- tractivismo del territorio y además tiene la capacidad de modelar la realidad. Diseñados en una sociedad desigual, estos sistemas pueden emplearse para reproducir desigualdades. Construidos con un énfasis en la eficiencia más que en la dignidad, pueden causar un daño irreparable. Al insistir en una lA descolonial, defendemos el derecho de las comunidades histórica- mente marginalizadas a modelar la realidad en sus propios términos.
Nuestros métodos evolucionarán, sensibles a las necesidades y oportunidades, pero nuestro objetivo es crear y mantener un foro resonante para el aprendizaje y el intercambio desde y entre las voces silenciadas por las estructuras coloniales y la colonialidad vigentes a través de los sistemas
sociotécnicos.
Inteligencia Artificial Feminista 204 Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descoloniall89!
Raziye Buse Cetin Turquía
El verano pasado visité a mis abuelos que viven en un pueblo en la Anatolia, en Turquía. Como indagación personal, le pregunté a mi abuelo qué representaba para él “Europa”, cuáles fueron las primeras palabras, símbolos, imágenes que le vinieron a la mente cuando dije “Europa”. Inme- diatamente respondió: “progreso, tecnología, inteligencia, trabajo duro...” y agregó, “somos corruptos y no trabajamos lo suficiente. Por eso nos quedamos atrás”. Sentí un calambre en el estómago, pero sonreí.
No hay nada más desalentador e invalidante que creer que hay algo intrínsecamente malo en su cultura, educación y formas de conocer, sentir y dar sentido al mundo. Como piensa mi abuelo, ¿los europeos o los occi- dentales tienen economías avanzadas porque saben, tienen la tecnología
de su parte, y son más trabajadores y moralmente superiores a los demás?
[85] Nota de las editoras: La investigadora turca Raziye Buse Cetin plantea una reflexión sobre cómo la lA está profundamente enredada con la colonialidad del poder de varias maneras, no solo a las esferas políticas y económicas, sino también a los lugares de producción de conocimiento, percepción, sentimiento e imaginación. El texto original en inglés se puede consultar en: https://www.gwi-boell.de/en/2021/02/11/wisdom-of-not-knowing-and-decolonial-Al
Inteligencia Artificial Feminista 205 Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descolonial
Falta una parte en la historia de mi abuelo. Una que contradice las narrativas globalizadas de la modernidad y la colonialidad. Es una historia de explotación global, extracción, racismo, capitalismo, pensamiento dua- lista y hegemonía. Es la historia de esta red invisible de recursos naturales y generaciones de trabajo humano racializado que sostienen las brillantes promesas de eficiencia comercializadas a través del avance tecnológico.
Esto también suele faltar en el discurso dominante sobre las tecno- logías de inteligencia artificial (IA). La lA existe en un sistema sociotécnico (Johnson € Verdicchio, 2017) que inevitablemente interactúa con lo que es social. No es solo una disciplina científica y un negocio, sino que también
tiene su propia mitología (Crawford, 2014):
La 'lA' se entiende mejor como una ideología política y social que como una cesta de algoritmos. El núcleo de la ideología es que un conjunto de tecnologías, diseñado por una pequeña élite técnica, puede y debe volverse autónomo y eventualmente reemplazar, en lugar de complementar, no solo a los humanos individuales sino a gran parte de la humanidad. (Lanier, 2021)
Inteligencia Artificial Feminista 206 Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descolonial
La lA y el poder colonial
La lA está profundamente enredada con la colonialidad del poder de varias maneras. La colonialidad del poder da forma no solo a las esferas políticas y económicas, sino también a los lugares de producción de cono- cimiento, percepción, sentimiento e imaginación. En los ecosistemas de lA, el conocimiento científico, la invención tecnológica y las ganancias corpo- rativas se refuerzan mutuamente y conducen a la consolidación del poder político y económico. El sistema económico en el que está incrustada la lA es uno de capitalismo extractivo. Moldea los objetivos, los modos de pro- ducción, las formas de trabajo y la distribución de la riqueza y el poder en torno a esta tecnología.
En su etapa actual, la lA nace en economías de escala y plataformas digitales. Las grandes empresas tecnológicas acumulan una masa crítica a través de enormes retornos a escala y efectos de red. Esto conduce a la centralización de las infraestructuras digitales sobre las que se construye una parte considerable de las actividades comerciales y de diversa índole. El alcance y el poder actuales de estas importantes empresas tecnológicas recuerdan a los imperios; solo que ahora extraen datos junto con los recur- sos naturales y el trabajo racializado de otras partes del mundo.
El discurso dominante mistifica la lA como una tecnología abstracta y autosuficiente. La imaginación popular se obsesiona con la tecnología al ignorar todos los recursos naturales y materiales, así como el trabajo hu-
mano, que hacen posible la lA en primer lugar. La anatomía de un sistema
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 207
La sabiduría del no saber y la lA descolonial
de 1A!881, Kate Crawford y Vladan Joler, muestra todos los recursos mate- riales, el trabajo humano y los datos necesarios para el ciclo de vida de un solo Amazon Echo, desde su producción hasta su eliminación. Esto incluye la extracción de minerales terrestres como el litio para producir el hardware, una gran infraestructura como Internet, el trabajo de los etiquetadores de datos y más. El trabajo humano no solo es vital para refinar, ensamblar, distribuir y transportar los componentes físicos y virtuales de un sistema, sino que los consumidores también realizan trabajo continuamente al ge- nerar datos y, en última instancia, ayudar a mejorar los sistemas. (Crawford 8 Joler, 2018)
Los datos como fuente última de conocimiento
La creciente confianza en los datos como fuente última de conoci- miento impone un nuevo orden epistemológico basado en la datafica- ción/mercantilización de todo. Los principales conjuntos de datos de entrenamiento para el aprendizaje automático (NMIST, ImageÑNet, Labeled Faces in the Wild, etc.) se originaron en corporaciones, universidades y agencias militares del Norte Global. (Pasquinelli 8 Joler) Las categorías bi- narias de raza y género construidas socialmente se cimentan en taxo- nomías y sistemas de clasificación de datos, lo que refuerza las
implicaciones sociales, políticas y económicas en la distribución del poder
[86] https://anatomyof.ai
Inteligencia Artificial Feminista 208 Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descolonial
de tales categorías. Los marginados, cuerpos minorizados y subalternos que no encajan en las clasificaciones y taxonomías coloniales son objeto de
violencia algorítmica y discriminación.
Al decolonial
El relato de la colonialidad de Al es vasto y complejo. En "Decolonial Al: Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence", Mohamed, Png e Isaac (2020) brindan una visión integral de los sitios de descolonialidad en la lA. De manera similar, Ricaurte desarrolla un modelo teórico para comprender la colonialidad del poder en los datos en “Episte- mologías de datos, colonialidad del poder y resistencia”. (Ricaurte, 2019) Esta actividad académica ciertamente contribuye a lo que Adolfo Albán Achinte llama re-existencia: “una estrategia de cuestionamiento y visibiliza- ción de las prácticas de racialización, exclusión y marginación, procurando redefinir y resignificar la vida en condiciones de dignidad y autodetermina- ción, mientras al mismo tiempo se confronta la biopolítica que controla, do- mina y mercantiliza los sujetos y la naturaleza.” (Achinte, 2008, pp. 85-86)
Sin embargo, la descolonialidad también tiene sus contradicciones y cuestionamientos. Por ejemplo, el lenguaje de la descolonialidad corre el riesgo de ser capturado: "cómo escribir (producir) sin inscribirse (reproducir) en la estructura blanca dominante y cómo escribir sin reinscribir y reprodu- cir aquello contra lo que nos rebelamos". (Anzaldúa, 2018, pp. 20-21) O ¿qué queda de la lA una vez que se torna descolonial? ¿Encierra esto ne- cesariamente la descolonialidad en posiciones aparentemente opuestas de
rechazo tecnológico y/o captura inevitable? Yo veo la ansiada idea de pu-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 209
La sabiduría del no saber y la lA descolonial
reza y los binarios colonial vs descolonial que mi mente reproduce en estas preguntas. Trato de resistir y recordar que “no hay propietario ni un plan maestro privilegiado para la descolonialidad” (Anzaldúa, 2018, p. 118) y apreciar la hibridación y complejidad de las cosas.
En lugar de renunciar al impulso de la mente moderna por la certeza, la jerarquía y las respuestas prefabricadas, la descolonialidad puede verse como un proceso continuo y una praxis que no solo es epistemológica sino también emocional, espiritual y contextual. Se trata de construir patrones situados del otro: vivir, reflexionar, analizar, teorizar, actuar y dejar lo cons- truido (y capturado) para empezar de nuevo. Se trata de centrar la vida: “La opción descolonial... parte de la idea de que 'la regeneración de la vida debe prevalecer sobre [la] primacía del reciclaje de la producción y repro- ducción de bienes”. (Bhambra, 2014, p. 137)
La sabiduría de no saber
Mi abuelo es agricultor, su padre fue imánl?”l y también agricultor. Mi abuelo no fue a la escuela secundaria, no está empapado del tipo de cono- cimiento más valorado para la modernidad/colonialidad. Cuando le expliqué cómo se usaba la lA en la agricultura para la detección de enfermedades y el pronóstico estacional, no parecía muy interesado. Porque él sabe que,
haga lo que haga, si cae granizo este año, significa que pueden perder una
[87] Posición de liderazgo comunitario en el islam. (N. de las Eds.)
Inteligencia Artificial Feminista 2 1 0 Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descolonial
parte importante de su cosecha. La amenaza de pérdida de cosechas siempre está presente, pero nunca lo he visto quejándose retadoramente de las fuerzas de la naturaleza - como lo hace con las fuerzas del capital. Esta humildad espiritual y la relación personal de mis abuelos con la naturaleza y el suelo me enseñaron que hay sabiduría en no saber en el sentido moderno/colonial. Es bastante contraintuitivo para la mente moder- na/colonial y sus tecnologías, ya que vende la ilusión de control que se ob- tiene al saber. A estas alturas, no se trata de saber más; se trata de respetar la naturaleza en constante cambio de la vida al honrar otros tipos de conocimiento. En La mano izquierda de la oscuridad, Ursula K. Le Guin dice: “Aprender qué preguntas no tienen respuesta y no responderlas: esta
habilidad es más necesaria en tiempos de estrés y oscuridad”.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 1
pd
La sabiduría del no saber y la lA descolonial
REFERENCIAS
Achinte, A. A. (2008) ¿Interculturalidad sin decolonialidad? Colonialidades circulantes y prácticas de re-existencia. En: Villa, W. 8 Grueso, A. (eds.) Diversidad, interculturalidad y construcción de ciudad. Universidad Pedagógica Nacional/Alcaldía Mayor, 2008), 85-86. En: Mignolo, W. D. € Walsh,C. E. (2018). On Decoloniality. Duke University Press.
Anzaldúa, G. (2018) Light in the Dark, Luz en lo Oscuro: Rewriting Identity, Spirituality, Reality, ed. Analouise Keating, 7 (Durham, NC: Duke University Press, 2015). En Mignolo, W. D. € Walsh, C. E. On Decoloniality. Duke University Press, pp. 20-21.
Bhambra, G. K. (2014). Postcolonial and decolonial reconstructions. In Bhambra, G. K. Connected sociologies, pp. 117-140. London: Bloomsbury Academic.
Crawford, K., Gray, M. L., 8 Miltner, K. (2014). Big Data | critiquing Big Data: Politics, ethics, epistemology | special section introduction. International Journal of Communication, 8, 10. https: //ijoc.org/index.php/ijoc/article/download/2167/1164
Crawford, K. 8 Joler, V. (2018). Anatomy of an Al system: The Amazon echo as an anatomical map of human labor, data and planetary resources. Al Now Institute and Share Lab. https://anatomyof.ai
Johnson, D. G., 8 Verdicchio, M. (2017). Reframing Al discourse. Minds and Machines 27 (4): 575-90. https://doi.org/10.1007/s11023-017-9417-6
Lanier, J. (2021). Al is an ideology, not a technology. Wired.
https: //www.wired.com/story/opinion-ai-is-an-ideology-not-a-technology/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
La sabiduría del no saber y la lA descolonial
Mohamed, S., Png, M. T., 4 Isaac, W. (2020). Decolonial Al: Decolonial theory as sociotechnical foresight in artificial intelligence. Philosophy € Technology, 33(4), 659-684. https://doi.org/10.1007/513347-020-00405-8
Pasquinelli, M. 8 Joler, V. (s.f.) The Nooscope Manifested - Artificial intelligence as instrument of knowledge extractivism, 23. https://nooscope.ai/
Ricaurte, P. (2019), Data epistemologies, the coloniality of power, and resistance. Television 8, New Media 20, no. 4 (May 2019): 350-65. https://doi.org/10.1177/1527476419831640.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 3
Inteligencia artificial y la imaginación feminista descoloniall8l
Paola Ricaurte
Tecnológico de Monterrey México
En años recientes los gobiernos y las empresas de los países industrializa- dos y las organizaciones internacionales han promovido diversos marcos éticos (UNESCO, 2021, OCDE, 2019) para orientar el desarrollo de las tecnologías, especialmente las asociadas a la inteligencia artificial (IA). En la narrativa del desarrollo tecnológico capitalista, los sistemas inteligentes son los más prometedores para la innovación, puesto que se encuentran asociados con los ideales de productividad y eficiencia. Por ello, la inteli- gencia artificial se ha convertido en un eje articulador del capital, del poder y de la política. Algunos de estos marcos éticos, que guían las prácticas, las políticas y los reglamentos, se basan en los derechos humanos (Adams, 2022) e incorporan principios para defenderlos, especialmente en el despliegue y el uso de la lA. Sin embargo, como hemos observado históricamente, un marco de derechos humanos no es suficiente para
garantizar los derechos humanos ni para lograr la justicia.
[88] Una versión en inglés de este texto fue publicada en Bot Populi y se encuentra disponible en el siguiente enlace: https://botpopuli.net/artificial-intelligence-and-the-feminist-decolonial-imagination/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 4
Inteligencia artificial y la imaginación feminista descolonial
Por un lado, estos marcos reflejan una perspectiva ética occidental (Jobin et. al, 2019) sobre el problema, que deja fuera las epistemologías no occidentales (Mhlambi, 2020) y una discusión sobre la justicia a nivel global que incorpore diferencias onto-epistémicas. La ética del diseño, desarrollo, despliegue y uso de la IA desde los marcos éticos actuales se centra en principios como la transparencia y la rendición de cuentas (Jobin et al., 2019), lejos de las poblaciones afectadas por estas tecnologías (Aguilar, 2022; Díaz, 2022). Este hecho hace evidente la distancia entre las perso- nas que pueden producir, entender y auditar los algoritmos y las son afectadas por ellos. Por otro lado, los marcos éticos impulsados por los actores poderosos, como las corporaciones tecnológicas o los gobiernos de los países ricos, no discuten la centralidad geopolítica de los sistemas inte- ligentes como arma de guerra y vigilancia, su carácter extractivista, su lugar en el control social de los cuerpos-territorios, las subjetividades, las relacio- nes intersubjetivas y, en definitiva, su papel en el secuestro del futuro. (Bruno, 2021)
Desde una perspectiva más amplia, la discusión sobre la justicia asociada a las tecnologías debe situarse en diálogo con la realidad de los contextos y comunidades locales sobre los que recaen sus impactos. (Ricaurte 8 Ciacci, 2020) Además, debe apuntar al análisis de las asi- metrías que hacen de este desarrollo tecnológico un instrumento para la continuidad de la violencia a escala global. (Ricaurte, 2022)
En un ámbito global, la justicia integradora debe considerar las múl- tiples dimensiones en las que se despliega la injusticia mediada por la tec-
nología: social, económica, epistémica, laboral, infraestructural, digital,
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 5
Inteligencia artificial y la imaginación feminista descolonial
climática, energética, territorial, alimentaria, entre otras, en contextos loca- les y para comunidades específicas. Así, por un lado, la definición de la justicia tiene que partir de la experiencia de las propias comunidades (Cortés et al., 2020), así como las visiones que poseen sobre su futuro (Trejo, 2022). Por otro lado, es necesario abordar las relaciones asimétricas globales que contribuyen a profundizar la violencia sistémica y estructural entre países a nivel planetario. Por último, debe reconocer los impactos di- ferenciados del desarrollo tecnológico en las poblaciones excluidas del norte y del sur global e impulsar que los países industrializados, asuman la responsabilidad de su liderazgo en las decisiones en torno a la gobernanza y el desarrollo de lA.
En este ensayo, proponemos una visión que articule los aspectos macro y micropolíticos (Rolnik, 2019) como parte del proyecto descolonial y feminista, que considera múltiples dimensiones que deberían considerarse para desarrollar tecnologías de la lA justas para la mayoría del planeta (Ricaurte, 2022). Nuestro propósito es identificar los límites e implicaciones de la aplicación de marcos éticos que no abordan el problema del poder y el papel que juegan las tecnologías de lA en la automatización de la opre- sión. (Peña 8 Varon, 2020) Así, el problema se relaciona con el poder y el papel que desempeña la inteligencia artificial dentro de la matriz de domi- nación como producto y herramienta de/para la perpetuación de los siste- mas de violencia. Partiendo de los trabajos anteriores, identificamos las intervenciones y los marcos integrales que requerimos para construir tec- nologías alineadas con el derecho a una vida digna y, al mismo tiempo,
respetuosas con el ambiente.
Inteligencia Artificial Feminista 2 1 6 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
La colonialidad del poder: tecnología, género, ambiente
El sociólogo Aníbal Quijano desarrolló la noción de colonialidad del poder (Quijano, 2000, 2007) para explicar la dominación epistémica a través de la diferencia racial ejercida por la metrópoli europea durante la colonización. La colonialidad explica la lógica, el mecanismo de jerarquiza- ción y catalogación epistémica de unos seres humanos por encima de otros a partir de la diferencia racial producida durante la colonización y perpetua- da hasta nuestros días. Por lo tanto, la colonialidad extiende la colonización en forma de epistemicidio (de Sousa Santos, 2015) basado en la diferencia racial.
La colonialidad del poder lleva a la destrucción de cualquier forma alternativa de pensar, ser, sentir, hacer y vivir diferente al modelo occiden- tal/moderno del mundo. El locus del despojo son los recursos naturales de los territorios colonizados y nuestros cuerpos, pensamientos, acciones, afectos y relaciones. (Ricaurte, 2020) El poder colonial implica despojar al sujeto de la colonización de su valor como ser humano y ejercer la superio- ridad racial como dominación epistémica. Es despojar a la persona de su humanidad. Como explica el filósofo africano Sabelo J. Ndlovu Gatsheni (2020), incluso cuando se hace retroceder la colonización como proceso físico (el imperio físico), el colonialismo como estructura de poder continúa, porque invade el universo mental de un pueblo, desestabilizando lo que
solía conocer, para pasar a conocer lo que trae el colonialismo.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 vá
Inteligencia artificial y la imaginación feminista descolonial
Los valores colonialistas, racistas y patriarcales se imponen como principios universales para el diseño de la tecnología. Estos valores están codificados en marcos éticos que dan forma a los sistemas de inteligencia artificial, a la construcción de máquinas antropomórficas y blancas (Cave 8 Dihal, 2020), a los algoritmos racistas (Benjamin, 2019; Noble, 2018), a la construcción de narrativas sobre el progreso, el desarrollo, la productividad, la eficiencia, la modernidad y el futuro asociadas a la tecnología pero an- cladas en imaginarios que consolidan la superioridad racial (Benjamin, 2016). Los sistemas sociotécnicos son parte de los ensamblajes de conoci- miento que producen narrativas que contribuyen a la dominación epistémi- ca occidental (supremacía blanca, heteropatriarcado, capitalismo y colonialismo). Por lo tanto, es crucial entender cómo la dataficación, las mediaciones algorítmicas y los sistemas inteligentes operan cognitiva, emocional y pragmáticamente para construir visiones del mundo y formas de relacionarse y concebir la existencia social. Sus efectos se plasman en la configuración de las relaciones entre los sujetos (políticos, económicos, sociales), entre los seres vivos (humanos y no humanos), pero también en la relación con los objetos (seres vivos y no vivos/máquinas) y entre los propios objetos (por ejemplo, entre las máquinas, como vemos en el inter- net de las cosas). El proyecto de la modernidad disocia los procesos de producción tecno-científica de sus efectos sobre los cuerpos racializados y los territorios que habitan. Sin embargo, estos territorios proporcionan las materias primas y los recursos laborales necesarios para producir tecno- logía y son el lugar donde los países industrializados expulsan sus
residuos.
Inteligencia Artificial Feminista 2 1 8 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
Por lo tanto, en el estudio de la inteligencia artificial desde una pers- pectiva decolonial y feminista, es necesario considerar todo el ciclo de la inteligencia artificial, las relaciones sociopolíticas asociadas a ella y su
contribución a la reproducción de las asimetrías de poder.
Ética y justicia
El papel de algunos Estados en el desarrollo de armas autónomas es un ejemplo de la limitación de estos debates éticos que no abordan las asimetrías de poder, las fuerzas geopolíticas y la violencia. Además, es un ejemplo de doble discurso O lavado de ética cuando hablamos de inteligencia artificial:
Las armas totalmente autónomas, también conocidas como "robots asesinos", serían capaces de seleccionar y atacar objetivos sin un control humano significativo. Los precursores de estas armas, como los drones armados, están siendo desarrollados y desplegados por naciones como China, Israel, Corea del Sur, Rusia, el Reino Unido y Estados Unidos. Exis- ten serias dudas de que las armas totalmente autónomas sean capaces de cumplir las normas del derecho internacional humanitario, incluidas las reglas de distinción, proporcionalidad y necesidad militar, al tiempo que amenazarían el derecho fundamental a la vida y el principio de la dignidad humana. (HRW, 2021)
¿Un robot asesino con un algoritmo perfectamente auditable y transparente pasaría la prueba ética internacional? Tal vez. Por lo tanto, un debate que no erradica la violencia en el centro como principio para lograr
la justicia o que sólo da acceso a la justicia a poblaciones específicas y
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2 1 9
Inteligencia artificial y la imaginación feminista descolonial
dentro de los límites de las fronteras nacionales o regionales no puede considerarse un debate honesto por la justicia. La búsqueda de la justicia asociada a los procesos de dataficación, mediación algorítmica y automati- zación necesita una concepción integral que articule las diferentes dimen- siones de la justicia y apunte a reparar el daño infligido a las personas que históricamente han sufrido y sufren la violencia (física, emocional, econó- mica, laboral, epistémica, algorítmica) para sostener el actual modelo de desarrollo tecnológico. Argumentamos que el modelo hegemónico de de- sarrollo tecnológico basado en la violencia extractivista y el despojo es, en esencia, un modelo necro-tecnológico central en el proyecto capitalista/co- lonial/patriarcal/moderno. Este proyecto necro-tecnológico hegemónico está anclado en el principio de exterminio de cuerpos y territorios específicos. La injusticia es el resultado de las múltiples formas de violencia ejercidas sobre los cuerpos y los territorios. La violencia se traduce en la pérdida de auto- nomía, en la imposibilidad de lograr una vida digna y un mundo donde la justicia sea accesible para todos. Para avanzar hacia la justicia tecnológica como horizonte, necesitamos incorporar las causas históricas de la injusti- cia y la violencia estructural en la reflexión crítica y, en particular, en la praxis feminista. De esta manera, propondremos reparaciones que no sean parches, ni sustitutos de la justicia, ni nos lleven a contribuir a sostener in- voluntariamente los sistemas de violencia. Las lentes feministas requieren una mirada histórica, procesual y relacional sobre los procesos de datafica- ción y la incorporación de la mediación algorítmica y la inteligencia artificial en la automatización de la vida social. Este enfoque histórico, procesual y
relacional implica incorporar las nociones de corresponsabilidad y afecto
Inteligencia Artificial Feminista ZZ20 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
(Cortés et al., 2020) asociadas a los impactos negativos del desarrollo tec- nológico. También significa emprender estrategias de empoderamiento co- munitario para reclamar esta justicia a través de redes de solidaridad transnacional entre comunidades vulneradas y agraviadas y comunidades aliadas. Sin embargo, el eje de la lucha no está anclado en el acceso a la justicia per se, sino en que el acceso permita un horizonte de autonomía (Acevedo, 2021; Colectivo Disonancia, 2021) y una vida digna que contri- buya a recuperar la posibilidad de tener un futuro en el planeta. Sin embar- go, como la justicia requiere que los actores que actualmente concentran el poder económico, político y social a nivel global asuman la responsabilidad y las consecuencias de las decisiones que nos han conducido la crisis ac- tual derivada de su modelo de desarrollo, el acceso a la justicia será siem- pre un reclamo de los pueblos que han sido sistemáticamente negados. La autonomía (Acevedo, 2021; Colectivo Disonancia, 2021) y la dignidad de-
ben ser alcanzadas en disputa con las fuerzas que buscan destruirlas.
La imaginación feminista y descolonial
La muerte de las personas defensoras de la tierra, el terrricidio, el feminicidio, el lingúicidio, el epistemicidio, la persecución de inmigrantes y refugiados, la discriminación de la diversidad en todas sus formas, la ex- plotación laboral, están asociadas con el despliegue de sistemas inteligen- tes en todo su ciclo de vida. ¿Cómo, entonces, lograremos la justicia?¿Cómo erradicar las violencias en su multidimensionalidad? La respuesta a estas preguntas no es sencilla. Sin embargo, las comunidades
de todo el mundo están tratando de buscar la justicia en sus propios térmi-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 22 1
Inteligencia artificial y la imaginación feminista descolonial
nos, desarrollando la tecnología que necesitan, respondiendo a los intere- ses de la comunidad y construyendo caminos hacia la autonomía y la vida digna. Algunos ejemplos provienen de los feminismos, transfeminismos, fe- minismos descoloniales y comunitarios. Otros provienen de las experien-
cias de los pueblos originarios alrededor del mundo.
IA transfeminista
Los interseccionales, decoloniales y ecofeminismos aportan herra- mientas teóricas y metodológicas que permiten reflexionar sobre el sentido de desarrollar iniciativas de inteligencia artificial considerando las asi- metrías de poder y de género. Principios feministas para la recolección y uso de datos (D'lgnazio y Klein, 2020), manifiestos feministas (Zaragoza y Ahmatova 2018, Feminist Data Manifest-No), ecofeminismos que buscan poner en el centro los valores de la sostenibilidad a la par de la búsqueda de la equidad, imaginación radical tecnofeminista a través del juego, las narrativas y la ficción especulativa, como en el El Oráculo para las tecno- logías transfeministas (Varon y Constanza-Shock 2018) son solo algunos ejemplos. Estas visiones provocadoras y clarividentes sobre la lA muestran que si ampliamos la diversidad epistémica podremos imaginar y crear futu-
ros tecno-diversos y transfeministas.
Diversidad cultural y lingúística
Es bien sabido que el reconocimiento del habla y el procesamiento
del lenguaje natural no están disponibles o suficientemente desarrollados
Inteligencia Artificial Feminista 222 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
para otras lenguas que no sean el inglés. En todo el mundo, muchas co- munidades no tienen el inglés u otras lenguas dominantes como lengua materna. Para superar este déficit, el proyecto Papa Reol*9! ha desarrollado una herramienta de transcripción automática del maoríl*0 que utiliza la API de conversión de voz a texto para obtener la primera voz maorí sintetizada. Como se indica en su sitio web, esta herramienta "proporciona el conjunto de datos fundamentales para el proyecto Papa Reo", "una plataforma lingúística multilingúe basada en el conocimiento y las formas de pensar indígenas y potenciada por la ciencia de datos de vanguardia". Este pro- yecto muestra cómo las tecnologías pueden desarrollarse para servir a las necesidades de una comunidad específica. Este proyecto puede no intere- sar a las grandes empresas tecnológicas, pero ofrece a la comunidad la
oportunidad de expresar su identidad y su sentido de pertenencia.
Gobernanza comunitaria
Formas de gobernanza comunitaria son ejemplos de alternativas pa- ra la lA desde otros valores que no son los del mercado. Papa Reo busca desarrollar una propuesta desde la comunidad para la comunidad. Este an- claje en la comunidad implica que sus propuestas y su desarrollo responden a las necesidades de esa comunidad. Es una propuesta tecnológica creada
en su idioma y con los valores que son importantes para su comunidad.
[89] https://papareo.nz/ [90] http://kaituhi.nz/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe ZE
Inteligencia artificial y la imaginación feminista descolonial
Soberanía de datos
Papa Reo desarrolló su propia licencia de software, kaitiakitanga, de acuerdo con los valores de la comunidad maorí. A diferencia del principio de propiedad, que implica la apropiación desde una perspectiva privada o comercial, la visión de la protección y custodia de datos implica que los da- tos son un bien común de la comunidad y, por tanto, deben ser protegidos:
Te Hiku Media ha desarrollado una licencia Kaitiakitangal*!!, que establece que los datos no son propiedad, sino que se cuidan bajo el prin- cipio de kaitiakitanga y cualquier beneficio derivado de los datos fluye a la fuente de los mismos. Kaitiakitanga es un principio que expresa la tutela y no la propiedad de los datos. Los medios de comunicación de Te Hiku son meros guardianes de los datos y tratan de garantizar que todas las decisio- nes que se tomen sobre el uso de esos datos respeten su maná y el de las personas de las que descienden.
Papa Reo forma parte de un movimiento de innovación indígena que ha demostrado cómo contribuir desde diferentes cosmovisiones al desarro- llo de la inteligencia artificial. Iniciativas similares promueven normas y pro- tocolos basados en principios o metodologías indígenas que no implican
procesos o relaciones extractivas.
[91] https://papareo.nz/ifkaitiakitanga
Inteligencia Artificial Feminista 224 Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
Conclusión
En este ensayo, hemos discutido la limitación de desarrollar marcos éticos que no pretenden cambiar las relaciones de poder. Los marcos éti- cos deben considerar los impactos materiales e inmateriales diferenciados para territorios y cuerpos específicos como consecuencia de la lógica sub- yacente de los procesos históricos capitalistas, patriarcales y coloniales asociados a los sistemas sociotécnicos. Los sistemas de IA dominantes como construcciones sociotécnicas son instrumentos de la colonialidad del poder, una relación entre conocimiento y poder, basada en la diferencia ontológica y epistémica de los seres. Borrar la experiencia de la coloniali- dad y sus impactos materiales e inmateriales sobre cuerpos, subjetividades y territorios específicos, racializados, étnicos y de género, es una forma de despolitizar la crítica decolonial. La descolonialidad como praxis requiere la desvinculación de la colonialidad del poder: detener, desmantelar y reparar el proceso histórico de despojo y violencia, el epistemicidio y la necropolíti- ca como principios del modelo occidental hegemónico del mundo. A través de la imaginación descolonial y feminista, exploramos las posibles formas de descolonización de la inteligencia artificial hacia la construcción de futu- ros tecnodiversos. Esta reflexión pretende pasar a la acción para revertir un orden basado en la necropolítica sobre los cuerpos racializados, principal-
mente de las mujeres, y la destrucción de nuestros entornos de vida.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 225
226
Inteligencia artificial y la imaginación feminista descolonial
REFERENCIAS
Acevedo, S. (2021). El horizonte de la autonomía (Tesis de maestría). Universidad Autónoma Metropolitana. Unidad Xochimilco. https://repositorio.xoc.uam.mx/jspui/handle/123456789/23274
Adams, R. (2022). Diseño de un índice global basado en derechos sobre lA responsable. En: Ricaurte, P., 8 Zasso, M. R. (Eds.) Inteligencia artificial feminista hacia una agenda de investigación en América Latina y el Caribe. México: Tecnológico de Monterrey y Red f<a+i>r.
Aguilar, Y. E. (2022). La lengua como territorio cognitivo y su relación con concepciones tecnológicas. En: Ricaurte, P., « Zasso, M. R. (Eds.) Inteligencia artificial feminista hacia una agenda de investigación en América Latina y El Caribe. México: Tecnológico de Monterrey y Red f<a+i>r.
Benjamin, R. (2019). Race after technology: Abolitionist tools for the new jim code. Cambridge: Polity.
Benjamin, R. (2016). Catching our breath: Critical race STS and the carceral imagination. Engaging Science, Technology, and Society 2: 145-156. DOI: 10.17351/ests2016.70
Bruno, F. (2021). F*Fail tecnología y política: Pensar y crear mundos a partir de sus fallas y ruinas. Medialab UFRJ.
https://fail.medialabufrj.net/es/_fail-sobre/
Cave, S., 8 Dihal, K. (2020). The whiteness of Al. Philosophy € Technology, 33(4), 685-703.
Colectivo Disonancia. (2021). Autonomía Tecnológica. colectivodisonancia.net/autonomia
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Inteligencia artificial y la imaginación feminista descolonial
Costanza-Chock, S. (2018). Design Justice, A.!., and Escape from the Matrix of Domination. Journal of Design and Science. https: //jods.mitpress.mit.edu/pub/costanza-chock/release/4
Cortés, N.; Jes, La; Pérez, L. et al. (2020). Tecnoafecciones: Hacia una política de la corresponsabilidad. México: Instituto de Liderazgo Simone de Beauvoir. https://11601809.us.archive.org/28/items/tecnoafecciones-web/Tecnoafecciones_web.pdf
Díaz, T. (2022). Alexa, amenyi. Algunas consideraciones sobre la inclusión de las lenguas indígenas en las tecnologías del habla. En: Ricaurte, P., 8 Zasso, M. R. (Eds.) Inteligencia artificial feminista hacia una agenda de investigación en América Latina y el Caribe. México: Tecnológico de Monterrey y Red f<a+i>r.
D'Ignazio, C., 8 Klein, L. (2020). Data feminism. Cambridge: MIT Press.
Feminist Data Manifest-No. (s.f.) Feminist Data Manifest-No. www.manifestno.com
HRW - Human Rights Watch. (2021). Killer robots: Negotiate new law to protect humanity. www.hrw.org/news/2021/12/01/killer-robots-negotiate-new-law-protect-humanity
Jobin, A.; lenca, M. 8 Vayena, E. (2019). The global landscape of Al ethics guidelines. Nature Machine Intelligence 1(9): 389-399.
Mhlambi, S. (2020). From rationality to relationality: Ubuntu as an ethical and human rights framework for artificial intelligence governance. Carr Center for Human Rights Policy Discussion Paper Series, 9. https://carrcenter.hks.harvard.edu/publications/rationality-relationality-ubuntu-ethical-and- human-rights-framework-artificialy
Ndlovu-Gatsheni, S. (2020). Decolonization, decoloniality, and the future of African studies: A conversation with Dr. Sabelo Ndlovu-Gatsheni /Entrevistado por Duncan Omanga. ltems - Insights from the Social Sciences. items.ssrc.org/from-our-programs/decolonization-decoloniality-and-the-future-of-african- studies-a-conversation-with-dr-sabelo-ndlovu-gatsheni
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 227
Inteligencia artificial y la imaginación feminista descolonial
Noble, S. U. (2018). Algorithms of oppression. New York: New York University
Press.
Organización para la Cooperación y el Desarrollo Económicos. (2019). Al
Principles. Al Policy Observatory. https://0ecd.ai/en/ai-principles/
Peña, P. (2020) Bigger, more, better, faster: The ecological paradox of digital economies. In: Technology, the environment and a Sustainable World.
GISWatch Report. https: //giswatch.org/node/6245
Peña, P. 8 Varon, J. (2021). Not My Al. https://notmy.ai/
Quijano, A. (2000). Coloniality of power and eurocentrism in Latin America.
International Sociology, 15(2): 215-232. https://doi.org/10.1177/0268580900015002005
Quijano, A. (2007). Coloniality and modernity/rationality. Cultural Studies, 21(2-3):
168-178. https://doi.org/10.1080/09502380601164353
Raval, N. (2020). Platform-living: Theorizing life, work and ethical living after the gig economy. [Tesis doctoral.] Irvine, CA: University of California.
https://escholarship.org/uc/item/4qc0x3mw
Ricaurte, P. (2019). Data epistemologies, the coloniality of power and resistance.
Television 8. New Media 20(4): 350-365. https://doi.org/10.1177/1527476419831640
Ricaurte, P. (2022). Ethics for the majority world: Al and the question of violence at
scale. Media, Culture 8. Society, 44(4), 726-745. https://doi.org/10.1177/01634437221099612
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
228
Inteligencia artificial y la imaginación feminista descolonial
Ricaurte, P., 8 Ciacci, J. (2020). Technology for life: Resistance from Indigenous and urban communities in Mexico. In: Technology, the environment and a Sustainable World. GISWatch Report. https: //giswatch.org/node/6235
Rolnik, S. (2019). Esferas de la insurrección. Apuntes para descolonizar el inconsciente. Buenos Aires: Tinta Limón.
de Sousa Santos, B (2016). Epistemologies of the South: Justice Against Epistemicide. New York, NY: Routledge.
Trejo, S. (2022). Entre la técnica y la práctica. En: Ricaurte, P., 4 Zasso, M. R. (Eds.) Inteligencia artificial feminista hacia una agenda de investigación en América Latina y el Caribe. México: Tecnológico de Monterrey y Red f<a+i¡>r.
UNESCO. (2021). Recommendation on the ethics of artificial intelligence.
https://en.unesco.org/artificial-intelligence/ethics
Varon, J. 4 Constanza-Shock, S. (2018). The oracle for transfeminist technologies. www.transfeministech.codingrights.org
Zaragoza, L. 84 Ahmatova, A. (2018). Manifiesto por algoritmias hackfeministas. GenderlT
genderit.org/es/articles/edicion-especial-manifiesto-por-algoritmias-hackfeministas
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 229
lA y el futuro de la humanidad:
una perspectiva del budismol?2] Soraj Hongladarom
Universidad de Chulalongkorn Tailandia
Antes de todo, quiero agradecer a la universidad Chulalongkorn, en donde he trabajado por más de 30 años, por invitarme a dar una charla sobre este tema tan oportuno. El tema es el futuro, y sobre el papel que juega la lA en ese futuro. ¿Y qué es lo que más me gusta del título? Es que este no es mi título. Este es el título que me propusieron, que me propuso la universidad, y yo dije, “está bien”. Dijeron, "a lo mejor te diste cuenta", de que pusieron una forma plural de la palabra futuro. Entonces, "futuros de la humanidad", lo que implica, por supuesto, que hay varios futuros. Soy de filosofía y yo enseño lógica. Así que eso me distrajo: ¿por qué pusieron la palabra futuro en forma plural? Presumiblemente, imaginan que podría haber varios
futuros. Pero, lógicamente hablando, no puede haber más de un futuro,
[92] Esta ponencia fue presentada en línea por el profesor Dr. Soraj Hongladarom, líder del hub del Sudeste Asiático de la red f<a+i>r, durante la Semana de Alfabetización Chula Futures de la Universidad de Chulalongkorn, Bangkok, Tailandia, realizada entre febrero y marzo del 2022. La sesión fue moderada por el profesor Dr. Leonard Chrysostomos Epafras, de la Universitas Kristen Duta Wacana y el Consorcio de Estudios Religiosos de Indonesia (ICRS), Yogyakarta, Indonesia. Reproducimos acá, traducida al español, su presentación sobre la inteligencia artificial y los futuros de la humanidad desde una perspectiva del budismo, en la cual argumenta sobre la urgencia de pensarmos, colectiva y sistemáticamente, sobre el futuro y sobre todo sobre el papel que juega la lA en el futuro de la humanidad. La charla ha sido ligeramente editada para fines de claridad. Se puede consultar la grabación de la conferencia aquí: https://www.youtube.com/watch?v=xNonD2QglUc (N. de las Eds.)
Inteligencia Artificial Feminista 230 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
porque cuando llegue el momento, no nos estamos ramificando en ningún lado, estamos viviendo en este mundo, y nos guste o no, nos quedaremos atrapados en este mundo. Ese será el único mundo real. Es diferente a las películas de ciencia ficción, donde podemos retroceder en el tiempo y cam- biar el futuro. Sin embargo, esto nos da una advertencia o algo en lo que debemos pensar. Porque, de veras, solo hay un futuro. Así es que de- bemos hacerlo lo mejor que podamos hacer. Cuando se trata de un futuro, hay una posibilidad, por supuesto, por eso pusieron el plural de “futuros” en el título. Podríamos pensar en lo que podría pasar dentro de 10 o 20 años, hay varias posibilidades. Aunque, cuando hayan llegado los 20 años, será únicamente uno. Entonces, está abierto, el camino siempre está abierto, ahora mismo, para trazar nuestro curso para el futuro. Creo que eso es im- portante. Creo que esa es la razón principal por la que la UNESCO y la Universidad de Chulalongkorn han organizado esta semana de alfabetiza- ción sobre futuros.
Creo que podemos pasar un tiempo hablando de por qué necesita- mos hablar sobre el futuro. Luego, sobre qué papel juega la lA en nuestro futuro. No el futuro de la Al, el nuestro, los seres humanos. El futuro para nosotros, los seres humanos. ¿Y qué tipo de papel juega la lA en nuestro fu- turo? Y qué debemos hacer para que nuestro futuro, es decir, nuestra posi- bilidad, el futuro que ahora mismo existe como posibilidad, se haga realidad.
Y luego hablaré de un proyecto, un proyecto fascinante, del que ten- go el honor de ser parte. El proyecto sobre la incubación de la lA feminista ilustra claramente lo que debemos hacer para imaginar el tipo de lA que
existirá dentro de nuestro futuro, no el futuro de la Al. Finalmente, de cómo
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 23 1
lA y el futuro de la humanidad: una perspectiva del budismo
pueden ayudar las ideas obtenidas de la filosofía budista, el tema de mi libro que se publicó en 2020. Entonces, sigamos adelante.
¿Por qué tenemos que hablar del futuro? Bueno, antes de pasar a hab- lar sobre la lA, la ética de la lA, la ética budista y la lA, etc., dado que esto es parte de la semana de la alfabetización sobre futuro, creo que nuestra charla puede contribuir al evento principal dedicando algún tiempo sobre por qué ha- blar del futuro ha adquirido cierta importancia. Tanto es así que la UNESCO y Chula han invertido tiempo y esfuerzo en la organización de estas actividades.
Hay una enseñanza en el budismo de que no debemos preocuparnos demasiado por el futuro. En su lugar, deberíamos preocuparnos más del pre- sente. La idea es ser consciente del presente, ser consciente de lo que está sucediendo en este momento y no preocuparse demasiado por el futuro. Hay mucho de verdad en esa enseñanza. Sin embargo, tal vez eso no descarte la necesidad de que debamos pensar en el futuro, de alguna manera, de una forma u otra. La razón de esto es que necesitamos entender qué tipo de consecuencia traerá nuestra acción actual. Hacia nosotros mismos, hacia nuestro yo futuro, ya que probablemente la mayoría de nosotros todavía vivirá dentro de 10 o 20 o 25 años. Y cualquier cosa que estemos haciendo, o cualquier decisión que estemos tomando en este momento, tendrá conse- cuencias en el futuro lejano. Y estaremos entre los que se verán afectados por esas decisiones. Sin mencionar a nuestros descendientes, hijas e hijos, nietas y nietos. Si pensamos en el futuro en muchos años después del año actual, 2022, ahora mismo, esa es una respuesta obvia a la pregunta de por qué necesitamos hablar sobre el futuro. Y desde luego, no es sólo pura
especulación.
Inteligencia Artificial Feminista 232 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
No estamos hablando del futuro como los adivinos o los astrólogos, que a lo mejor nos quieren decir que el próximo año pasará esto o aquello, que en el 2025 pasará esto o aquello. No nos preocupa eso, nos preocupan los efectos que podría traer nuestra acción actual. ¿Y por qué es importante en términos de nuestras políticas, nuestras actitudes hacia la IA? Es que la IA es una tecnología tan poderosa, es una tecnología tan transformadora, y está siendo desarrollada a un ritmo muy rápido por laboratorios de todo el mundo. Las naciones compiten entre sí para crear los últimos avances en IA. Y estamos realmente, literalmente, en la encrucijada. El futuro podría ir hacia la izquierda o hacia la derecha, hacia delante, hacia arriba o hacia abajo. Depende de nuestras acciones en este momento. Por eso creo que esta actividad, donde nos reunimos para hablar sobre nuestro futuro como resultado, ha adquirido mucha importancia.
Entonces, estoy muy interesado en esta forma plural. ¿Futuro o futu- ros? A veces deseo poder tener muchas vidas. Quisiera poder ramificarme, por así decirlo, y vivir en varios futuros alternativos o universos paralelos. Por ejemplo, en el futuro, tal vez mañana, podría ir al futuro número uno, al futuro número dos o al futuro número tres. Y luego, experimentar lo que haya para experimentar, en cada uno de estos futuros. Pero todo lo que podemos ha- cer, por supuesto, es imaginar cómo sería. Asimismo, el futuro real se con- vertirá en nuestra actualidad, nuestra experiencia elevadora, que solo podemos experimentar a través de nuestros sentidos. Y las posibilidades se volverán, así, solo posibilidades. Pero no es como lo que nos dicen los adivi-
nos.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 233
lA y el futuro de la humanidad: una perspectiva del budismo
Es fascinante hablar sobre el futuro. Pero debemos ser conscientes de que podemos hablar de futuros de manera más sistemática. De tal manera que tengamos respaldos, tengamos evidencia científica, tengamos hallazgos de investigación para respaldar nuestra conclusión. Por ejemplo, el cambio climático. Llevamos décadas hablando del cambio climático. Los efectos que los científicos nos advirtieron hace dos o tres décadas que sucederían están sucediendo ahora mismo. Así que estamos experimentando, estamos vivien- do, en efecto, en el futuro que los científicos, hace unos 20 años, 30 años, nos advirtieron. Y lo estamos viviendo, estamos experimentando las conse- cuencias de nuestras acciones en el pasado ahora mismo. Y podemos imagi-
nar lo que sucedería en el futuro, visto desde nuestra perspectiva de 2022.
¿Realmente tenemos un futuro?
Esto suena como una pregunta pesimista, pero no quiero que el tono de mi charla sea pesimista, es decir, yo no soy una persona pesimista en absoluto. Los que me conocen a mí o a mis palabras lo sabrán: al contrario, pertenezco al otro campo. Pero la pregunta se ha vuelto importante porque, en este momento, hay una gran guerra en marcha. Nadie sabe qué tipo de resultado sucederá. Quiero decir, todas las guerras son así, nadie puede predecir los resultados de ninguna guerra. Siempre hay muchas posibilida- des e inseguridad, en el sentido de que no se puede predecir con detalle el resultado de una guerra cuando se está librando. Es posible que uno pueda predecir en términos generales, a largo plazo, considerando la cantidad de recursos que tienen las dos partes. Pero cuando las dos partes comienzan
a comprometerse, son muchas las posibilidades.
Inteligencia Artificial Feminista 234 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
En cualquier caso, cuando hay una gran guerra, como ahora, que todo el mundo conoce, entre Ucrania y Rusia, surge esta pregunta. Quiero decir, ¿realmente tenemos un futuro cuando un lado tiene una gran canti- dad de arsenal nuclear? Y el otro lado, a pesar de que no son parte del conflicto, están viendo muy de cerca sus desarrollos. Así que el viejo miedo que la gente tenía en los años posteriores a la Segunda Guerra Mundial, a las guerras nucleares y cosas por el estilo, ha regresado. El viejo miedo a las guerras y la gente protegiéndose ha vuelto. Quiero decir, es muy rápido, el año acaba de comenzar, el otro día, y muchos acontecimientos en el mundo ocurrieron solo durante estos pocos días después de que estalló la guerra. Así que esta pregunta ha llegado a tener cierta importancia.
Estos dos líderes políticos [Vladimir Putin y Volodímir Zelenski, líderes de Rusia y Ucrania respectivamente] hacen referencia a un evento mundial que tiene mucho que ver con nuestros nuevos pensamientos, especulaciones y pensamientos sobre el futuro. Cuando hablamos del futuro, y esta es una forma muy cruda de dividir las actitudes hacia el futuro, están los utópicos y los distópicos, el optimismo y el pesimismo. Ninguno de los dos lados tiene razón. La verdad suele ser una mezcla de las dos posiciones. Pero esas dos posiciones al menos reflejan nuestras actitudes. No estamos hablando de lo que realmente sucederá. Hablamos de nuestras actitudes hacia el futuro. Po- demos estar en el lado utópico y podríamos estar entre los que están en el la- do distópico. Estas actitudes también entran en juego cuando hablamos de lA.
Entonces, para abreviar, debemos hablar sobre el futuro porque ne- cesitamos saber lo que debemos hacer ahora mismo. Entonces, como dije,
esto se ha vuelto crítico, estamos en una encrucijada importante.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 235
lA y el futuro de la humanidad: una perspectiva del budismo
La lA y nuestro(s) futuro(s)
Como decía, está la banda utópica y está la banda distópica. El lado utópico diría “ah, la IA es una panacea. La lA nos está ayudando de mu- chas, muchas maneras. La lA nos está aliviando de todo tipo de cargas, por lo que ya no necesitamos esforzarnos, ni trabajar duro”. Estoy hablando de actitudes muy crudas hacia la lA y nuestro futuro. Los utópicos creen en el tremendo poder de la |A para ayudarnos en muchos tipos de actividades. Sin embargo, están los distópicos, que han destacado, en muchos casos con razón, los peligros de la lA. Por ejemplo, hablan de que la lA nos quita el trabajo, dejándonos sin empleo y con inseguridad económica y sin nin- guna injerencia sobre lo que nos sucederá. Muchos estudiosos, muchos científicos, han predicho que la |A podría volverse consciente. Que la lA podría convertirse en lo que ellos llaman “inteligencia artificial general” (AGl), en el sentido de que entienda los significados del lenguaje y tenga representaciones internas. Todo tipo de cosas que nos han distinguido a nosotros, los seres humanos, de todo lo demás en el universo. Esa carac- terística definitoria de la humanidad parece convertirse rápidamente en una característica definitoria de la lA también.
Entonces, entre los distópicos, el temor es que la lA no solo se esté haciendo cargo de nuestros trabajos, sino que la lA parece estar apoderán- dose también de nosotros mismos. Podría convertirse, en palabras de Nick Bostrom, en una superinteligencia. Cuando llegue ese momento, depende de la lA dónde quieran ubicarnos. Es posible que quieran preservarnos y ponernos en una especie de zona especial para los seres humanos. No tan
malo como los campos de concentración, pero algunos tipos de tierra don-
Inteligencia Artificial Feminista 236 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
de podemos vivir, y nos dejan solos. Entretanto, las lA se encargarían de los asuntos del mundo por sí mismas. O a lo mejor podrían querer eliminar- nos a todos juntos, esa también es una posibilidad.
Justo he visto una noticia que dice que los científicos han descubier- to que la lA ha comenzado a poseer algunas indicaciones, algunas indica- ciones tempranas, de ser consciente. No sé si esa noticia se puede verificar o no, pero según muchos científicos, entre ellos destacados y famosos, co- mo Nick Bostrom, la lA podría reemplazar, o efectivamente lo hará, a los seres humanos como el organismo dominante en el universo o en el mun- do. Esos son unos futuros que se crean a partir de ahora. Ese es precisa- mente el tema que estamos viendo ahora mismo, la lA y nuestro futuro o futuros, si es que no nos hemos destruido a nosotros mismos antes, a través de las guerras y a través de las bombas nucleares y demás.
En este momento, tenemos el lado utópico, y muchas personas del lado utópico dirían algo como “es improbable” o “es muy poco factible”. Y algunos científicos prominentes también están diciendo esto, que la lA podría volverse completamente consciente y que tomará nuestro lugar, co- mo he dicho. Es más probable que la lA se vuelva algo como nuestros ami- gos y nuestros sirvientes, y que siga trabajando con nosotros. Como dije antes, depende de nosotros en este momento, de nuestra acción colectiva, en este momento crítico. Si este o aquel escenario para el futuro podría su- ceder, depende de nuestras acciones. Si la lA podría volverse super inteli- gente y buena, o si la lA nos colocará en un zoológico, o si la lA podría convertirse en nuestro aliado y continuar colaborando, para trabajar con
nosotros en el futuro.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 237
lA y el futuro de la humanidad: una perspectiva del budismo
Entonces, he resumido aquí algunos posibles futuros de la lA. He hablado sobre AGI, inteligencia artificial y súper inteligencia, el tipo de lA que es completamente consciente. También que la lA está amenazando nuestros trabajos. Los vehículos autónomos se están desarrollando en mu- chos países del oeste y es solo cuestión de tiempo que estos vehículos lle- guen a Tailandia, Indonesia o Malasia. Entonces, debemos pensar qué tipo de guía, qué tipo de regulaciones y qué tipo de roles jugarán estos vehículos autónomos en nuestras vidas y en nuestras sociedades.
Por supuesto, también se están desarrollando sistemas de armas autónomos. Existe un debate sobre si se debe permitir que estos sistemas de armas desempeñen un papel en el combate real. Por lo que he recopila- do de la guerra entre Rusia y Ucrania, todavía no hay noticias sobre el des- pliegue de sistemas de armas autónomas, pero en el futuro, ¿quién sabe? Si es que hay un futuro.
Sin embargo, el debate es algo así: por un lado, deberíamos consi- derar una lA que procese el poder letal, o una lA que controle los sistemas de armas, como algo que deberíamos prohibir por completo. El mismo tipo de actitud que tenemos actualmente con las armas biológicas y las armas químicas porque son demasiado peligrosas. Porque no queremos que la lA se prenda, por así decirlo, y dispare a la gente. Sin embargo, algunos pien- san que quizás, quizás, la lA debería desempeñar un papel bastante limita- do en el control de los sistemas de armas, porque cuando miras qué tan rápido vuelan los aviones de guerra modernos y qué tan rápido funcionan estos sistemas de armas, en muchos casos es demasiado rápido para que
un ser humano normal se ajuste. Aunque ese ser humano sea un soldado
Inteligencia Artificial Feminista 238 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
entrenado. Entonces, la lA podría entrar en este punto para ayudar a los soldados humanos a tomar sus decisiones. Pero la decisión, al final, debe pertenecer al comandante humano. Ese es un argumento a favor de un pa- pel más limitado para los sistemas autónomos. Pero resalta mi punto: esta- mos ahora mismo en la encrucijada y cualquier decisión que tomemos ahora tendrá consecuencias. Consecuencias serias, muy graves, en un fu- turo lejano. Además, también tenemos lA en recursos humanos, como cuando se desea contratar a una nueva persona para un puesto. Muchas empresas ya lo están haciendo con lA. Usan lA para analizar carteras y otras formas de información y la lA sugiere si se debe contratar o no a una persona. Entonces, ¿queremos que nuestro futuro como empleados de tal o cual empresa lo decida una lA? También hay lA en las inversiones. La lA se utiliza para decidir qué forma de inversión es la mejor para el inversor, utilizando algún tipo de algoritmo. Entonces, en lugar de seres humanos, se está utilizando la lA para decidir nuestra inversión por nosotros. Y está, por supuesto, la lA en la ley. La IA está trabajando como juez en China. Hay evidencia e informes de noticias provenientes de China, de que ahí la Al se utiliza para analizar varios documentos legales. Y también en la educación, y así sucesivamente.
Estos futuros, algunos de ellos son el presente, apuntan a los roles cada vez más generalizados que la lA está desempeñando en nuestras vi- das. Entonces, esto me preocupa: ¿la lA asumirá el trabajo de los profeso- res de filosofía? No sé. Yo no lo quiero, no. O tal vez. Quiero decir, la Al ahora ya puede escribir en un artículo científico. Es capaz de presentar una
conferencia. Eso es, al menos para mí, una especie de amenaza directa.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 239
lA y el futuro de la humanidad: una perspectiva del budismo
Pero, ¿qué debemos hacer? Quizás podamos seguir encontrando, o sugiriendo, respuestas a esta pregunta en el período de preguntas y res- puestas. Sin embargo, sugeriría que eliminar la IA no es una opción. Digo esto porque la lA está demasiado arraigada. La tecnología está demasiado cerca de nosotros y muchas industrias ya confían demasiado en la lA. En- tonces, prohibir por completo la lA no es factible, no es realista. Así, lo que debemos hacer es asegurarnos de que el tipo de lA con la que viviremos sea del tipo dócil y amigable con nosotros, y no una que trate de destruir- nos por completo como especie. O de destruir incluso todo el entorno en el que vivimos. Por lo tanto, necesitamos una forma de vivir con lA. Esto sig- nifica que debe haber sistemas de regulación robustos y formas sistemáti- cas, exigibles y efectivas para canalizar su poder. Y este debe ser un esfuerzo global coordinado por todas las partes interesadas en todo el mundo. No puede ser prerrogativa de ningún país en particular porque la lA
parece estar omnipresente en todas partes.
Alianza A+ para algoritmos inclusivos: una visión para el
futuro
Tengo la suerte de ser parte de esta coalición llamada A+ Alliance for Inclusive Algorithmsl?%1. Hay un grupo de la academia y activistas e inte- grantes de organizaciones de la sociedad civil de todo el mundo y compar-
timos este objetivo común de buscar el papel que debe desempeñar la lA
[93] https://aplusalliance.org/
Inteligencia Artificial Feminista 240 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
para ser nuestra aliada, por así decirlo, y no nuestra enemiga. Tenemos muchas actividades, y estoy planteando esto para mostrar que esta es una visión para el futuro. Representa un intento entre muchos, ya que hay mu- chas otras redes, de canalizar, de poner a la lA a trabajar para nosotros, en el momento en que todavía es posible poner a la lA a trabajar para noso- tros, porque todavía está en proceso de desarrollo. La red se centra en un futuro digital libre, feminista e inclusivo. Y notarán que este futuro hace eco muy bien con nuestra charla de hoy.
Esto también es del mismo sitio web, de la red f<a+i>r: “Creemos que es necesario contemplar nuevos sistemas y estructuras para la lA para los tiempos venideros”. Y para la gobernanza de la lA y para el tipo de en- torno, para la estructura contextual que rodea a la lA, que será necesaria para los tiempos que se avecinan. “Los tiempos venideros”, estamos ha- blando del futuro. Entonces, el proyecto se llama "Incubando lA feminista". Este es nuestro objetivo, el poder de la lA debe aprovecharse para que sea una fuerza para el bien, creando una sociedad más igualitaria. Pero, ¿có- mo? Ese es el desafío. Por eso me siento honrado de ser parte de eso, y pensar cómo aprovechar, cómo programar o cómo hacer cosas con lA de
tal manera que pueda convertirse en una fuerza para el bien.
Una lA ética
Al contrario de lo que dicen otros académicos, que la |A siempre se convertirá en nuestro enemigo, yo creo, y muchos de mis colegas creen, que es posible que la lA se convierta en una fuerza para el bien. Lo cree-
mos porque la lA, después de todo, es ahora solo una pieza de software de
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 24 1
lA y el futuro de la humanidad: una perspectiva del budismo
algoritmo. Muy, muy poderosa, sí, pero solo una pieza de software. Enton- ces, todavía es viable, todavía está en el proceso en el que podemos mol- dearlo en algo que esté de acuerdo con nuestros valores y objetivos.
El subtítulo de la charla es “una perspectiva desde el budismo” y es- to viene del libro mencionado anteriormente. Primero, el budismo propor- ciona un análisis ético, pero no tengo tiempo para hablar sobre todo el sistema de ética en el budismo, solo que este proporciona una alternativa y, en algunos casos, una mejor alternativa que las formas occidentales de analizar problemas éticos. Entonces, la filosofía budista proporciona una nueva forma de pensar sobre los efectos de la lA. Una que se centra en la excelencia, en lo mejor que puede ser la lA. No se trata únicamente del as- pecto técnico, sino que es una combinación de los aspectos técnicos y éti- cos. Para que los aspectos éticos y técnicos de la lA se conviertan en uno mismo, inseparables. Entonces, la excelencia está ligada a nuestros valo- res y objetivos deseados. Temas como la felicidad floreciente, la inclusión, la igualdad, etc, comprenden las nociones dentro de las cuales entendemos qué significa realmente la excelencia en este contexto. Ese sería un breve resumen de mi libro.
Para concluir, no necesitamos enfrentarnos a la lA en el futuro. La lA no tiene por qué ser nuestra enemiga. Pero debemos actuar en conjunto ahora. Debemos encontrar formas de crear el tipo de lA que se alinee con nuestros valores. Aunque las lA no piensan como nosotros porque, des- pués de todo, se basan en algoritmos y pensamiento binario, y sus cere- bros están hechos de silicio, esto no implica necesariamente que serán
nuestras enemigas. No existe una conexión necesaria entre el hecho de
Inteligencia Artificial Feminista 242 Hacia una agenda de investigación en América Latina y el Caribe
lA y el futuro de la humanidad: una perspectiva del budismo
que la lA no piensa como nosotros y la idea de que deban ser nuestros enemigos, simplemente no existe una conexión lógica. Por lo tanto, debe- mos hacerles comprender que para lograr la excelencia, la lA debe ser éti- ca, es decir, una combinación de aspectos técnicos y éticos entre los
cuales, como mencioné anteriormente, no hay separación.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 243
Reflexiones feministas
sobre la economía de
plataformas o que el
algoritmo no controle tu Kruskaya Hidalgo Cordero humanidad Observatorio de Plataformas
Ecuador
Caminaba cuesta abajo, rápido y tratando de buscar algo de sombra. Era uno de esos días que en Quito el sol es tan fuerte que duele la piel. Mien- tras iba ensimismada en mis pensamientos escucho la voz de una mujer diciendo mi nombre. Alcé la mirada y vi a Yorya, una compañera migrante trabajadora de Rappi saludándome mientras detenía su bicicleta. Nos abrazamos rápidamente porque ella llevaba un pedido y cada minuto cuenta en el trabajo de reparto con apps. Vi a Yorya partir, esforzándose por subir en bicicleta esa calle tan empinada mientras cargaba esa mochila tomate. ¡Sí que hacía sol! Y ella iba toda tapada para no quemarse la piel trabajando tantas horas en la calle.
Conocí a Yorya en julio de 2020. Una trabajadora de plataformas di- gitales, migrante venezolana, que trabajaba repartiendo por las calles de Quito mientras su embarazo avanzaba. Fue el primer caso que acompaña- mos desde el Observatorio de Plataformas de esta índole, donde la inter-
seccionalidad de la economía de plataformas era tan evidente y a la vez tan
Inteligencia Artificial Feminista 244 Hacia una agenda de investigación en América Latina y el Caribe
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
compleja: precarización, género, migración, maternidad, salud, regulariza- ción. Sobre eso quiero reflexionar en estas líneas, de la importancia, pero sobre todo de la urgencia, de llevar análisis feministas interseccionales a los debates de la gig economy. De problematizar desde la mano de obra que sostiene estos modelos de trabajo hasta los impactos en los cuerpos y territorios a causa de su cadena de producción; del trabajo de cuidados y el acoso sexual; de la algortimización del trabajo y la desregularización de mercados; de la creación de consumos y creación de subjetividades; las narrativas dominantes y la falacia de la economía colaborativa a la que estas empresas tratan de adherirse. Independientemente de si hablamos de plataformas digitales de geolocalización o de audiencias geográfica- mente dispersas —también llamadas crowdwork (OIT, 2018)- es fundamen- tal disputar las narrativas y visibilizar que la explotación y precarización que estos modelos de negocio generan tienen rostros específicos.
Llegué al tema de plataformas digitales de reparto en 2019 y desde 2020 he creado un proyecto/colectivo de incidencia sobre la situación que viven las personas trabajadoras de reparto y conducción con apps en Ecuador, llamado Observatorio de Plataformas. Desde que inicié los prime- ros mapeos sobre la caracterización socioeconómica de las personas tra- bajadoras de reparto en Ecuador, tuve la intuición que el tema migratorio jugaba un eje fundamental. Luego mis sospechas se confirmaron cuando, en 2020, varios mapeos a nivel regional demostraron que gran parte de la fuerza de trabajo dentro de estas plataformas era migrante. Hago referencia a los casos de Colombia (Jaramillo, 2020), Perú (Dinegro, 2020), Argentina,
Chile (Morales, 2020) y Ecuador (Hidalgo, 2020a), donde las personas tra-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 245
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
bajadoras además de ser mayoritariamente migrantes, eran venezolanas. Y en los países donde no lo eran, como en Brasil, la mayoría de las personas trabajadoras de plataformas son afrobrasileñas. (Abilio et al., 2020) ¿Qué implicaciones tiene para América Latina que la fuerza de trabajo de plata- formas digitales de reparto sea sostenida por gente migrante y racializada? Queda claro que la división internacional, racial, sexual y geográfica del trabajo no es ajena a la gig economy. El trabajo es subcontratado y tercerizado dentro de estas plataformas por empresas del Norte global y realizado por personas del Sur global. Por otra parte, la producción de ma- nufactura tecnológica se realiza mayoritariamente en países del Sur global donde se paga a quienes elaboran estos equipos y repuestos precios irri- sorios — siendo las mujeres la mano de obra mayoritaria en la producción de esta manufactura. Como afirma Lisa Nakamura “[el] trabajo femenino barato es el motor que impulsa internet”. (2015) Es decir, la producción tec- nológica y el trabajo operativo de estas empresas de plataformas digitales es realizada por fuerza de trabajo racializada, feminizada y precarizada. Pero, además, dentro de estos debates es apremiante problematizar cómo la producción tecnológica genera un impacto negativo para la naturaleza y para las comunidades que viven en los territorios de donde se sacan los recursos naturales. Minería a gran escala, racismo ambiental, contamina- ción por desechos electrónico-tóxicos son algunos de los elementos para continuar esta conversación, que como sabemos, afectan en mayor grado
al Sur global.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 246
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
Xk*x*
En los últimos años “pedir un Uber” o “pedir comida por la aplicación” se ha vuelto parte de nuestra cotidianidad. Estas aplicaciones de transporte y reparto son visibles, la gente que trabaja en ellas recorre las ciudades de nuestros países todos los días. De manera reciente, estudios, documenta- les y paros internacionales se han desarrollado para problematizar las im- plicaciones que tienen estos modelos de negocio. Ahora sabemos que las personas que trabajan en estas aplicaciones no tienen contratos laborales, no cuentan con seguridad social, no reciben un salario básico por su traba- jo. También sabemos que la gente que trabaja en apps de transporte y re- parto trabajan más de 12 horas al día, 7 días a la semana. Con hashtags como F+EnTuPedidoVaMiVida, las organizaciones de trabajadores de repar- to en toda América Latina han denunciado como arriesgan su vida cada día durante su trabajo. Si tienen accidentes de tránsito, las empresas de apps no les cubren los gastos médicos, no indemnizan a sus familias en caso de muerte y deshumanizan a tal punto a la persona trabajadora que cuando sufre un accidente les preguntan cómo se encuentra el pedido y a qué hora irán a entregarlo a destino, en vez de preocuparse por su salud.
Las aplicaciones de reparto y transporte como Uber, Lyft, Cabify, Pedidos Ya, InDriver, Rappi, Didi organizan el trabajo mediante algoritmos. Esto quiere decir que generan sistemas de puntuación para que clientes y establecimientos/negocios califiquen a las personas trabajadoras. A través de estas calificaciones, se asignan pedidos y carreras a las personas re- partidoras y conductoras. Además, el control del trabajo se da por GPS,
delimitando las rutas que deben tomar. Esta forma de organización atomiza
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 247
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
las relaciones laborales, porque ya no queda claro quién evalúa tu trabajo, ya no hay un departamento de recursos humanos, no tienes un lugar de encuentro con tus compañeras de trabajo para organizarte y en sí, la relación con tu empleador pasa por una aplicación de celular y un sistema matemático de procesamiento de datos y no un ser humano. “Mi jefe es una app” presenta grandes retos para la experimentación del trabajo y demues- tra que la algoritmización de la vida es un escenario cercano. Por otra parte, las personas trabajadoras de plataformas digitales cobran por cada servicio realizado pero las empresas se quedan con un porcentaje. ci
Las plataformas digitales se incrementan todos los días, también su área de acción frente a las actividades y servicios que van cubriendo. Ahora podemos encontrar aplicaciones para hacer compras de supermercado: ¡sí, tú te quedas en tu casa!, mientras mandas una lista de lo que quieres y alguien va al supermercado a comprar todos esos productos, buscando minuciosamente marcas, precios, peso, ingredientes, etc, por ti. También hay aplicaciones para contratar servicios de comunicación, diseño gráfico, edición de estilo. Puedes coordinar quién saca a pasear a tu perro por ti con una app de celular. El capitalismo ha encontrado un nicho de mercado muy fructífero, pero no es solo un tema de nuevos modelos de negocio. La economía de plataformas busca instaurar un nuevo régimen laboral, tribu- tario, político. Nos enfrentamos a la desregularización del trabajo, a la des- regularización de los sistemas de recaudación fiscal, a la desregularización
de las prácticas monopólicas en el mercado.
Inteligencia Artificial Feminista 248 Hacia una agenda de investigación en América Latina y el Caribe
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
Sin embargo, la atención que han recibido las aplicaciones de reparto y conducción no es la misma que otras también existentes. La (sobre) exposición de estas dos actividades con aplicaciones móviles se debe en gran parte al ámbito público donde se desempeñan estos trabajos. Adicionalmente, no es menor mencionar que son dos actividades laborales sumamente masculinizadas. Pero no podemos decir que todas las aplica- ciones tienen las mismas implicaciones. En general, la lógica de puntuación dentro de las apps para evaluación de desempeño, la flexibilización laboral, la organización del trabajo con base en la algoritmización son elementos que pueden transversalizar entre plataformas. Sin embargo, existe una gran feminización de otras aplicaciones que se desempeñan en el ámbito privado.
Ahí llegan las apps de cuidados. Las aplicaciones de trabajo de cui- dados han comenzado a incrementarse y en algunos países a existir por primera vez. Pero no podemos comparar y afirmar que es lo mismo pedir un Uber que contratar a una mujer para limpiar tu casa. El trabajo domésti- co tiene en sí una historia colonial y patriarcal que lo hace muy distinto a manejar un auto. El trabajo de cuidados ha recaído históricamente en las mujeres, un trabajo invisibilizado, no pagado y totalmente desvalorizado. “La inmensa cantidad de trabajo doméstico remunerado y no remunerado realizado por mujeres en el hogar es lo que mantiene el mundo en movi- miento.” (Federici 2012, p. 2) Con la globalización y la crisis neoliberal de los cuidados, han sido las mujeres migrantes y racializadas del Sur global quienes realizan mayoritariamente este trabajo. Y dentro de los países de
América Latina, quienes realizan trabajo remunerado del hogar son mujeres
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 249
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
indígenas, afrodiaspóricas y mestizas empobrecidas. ¿Qué implicaciones tiene que la reproducción social de la vida esté mediada por aplicaciones móviles de celular? ¿Cómo impactará en la vida de las mujeres que el tra- bajo de cuidados ya de por sí precarizado ahora se organice a través de al- goritmos?
Yorya trabajó como repartidora con Rappi y Glovo hasta sus siete meses de embarazo. Usaba sacos, chaquetas y chompas grandes para esconder su vientre, porque temía que si las empresas descubrieran que estaba embarazada, le cerrarían sus cuentas en las apps. Es decir, ¡la despedirían! Sus temores no eran infundados, en varios países a nivel mundial se habían reportado casos similares, mujeres embarazadas des- pedidas de apps de reparto. Mientras compañeras repartidoras como Yorya se enfrentan a estos niveles de desprotección en Pedidos Ya, Delivery Hero, Uber Eats, Rappi (Hidalgo, 2020b), compañeras conductoras de Uber ganan menos que los hombres por el mismo trabajo (Hunt y Samman, 2019); compañeras trabajadoras remuneradas del hogar en Alia, Tidy, Handy, etc, denuncian acoso sexual y maltrato dentro de las casas y ofici- nas (Browning y Conger, 2020).
Estas realidades nos deben llamar a la acción. Esa es la batalla que estamos luchando desde toda trinchera, reclamar dignidad para las perso- nas que trabajan dentro de empresas de plataformas digitales. La inciden- cia feminista y decolonial en los debates de la gig economy es fundamental para generar propuestas de lucha y resistencia ante el capitalismo tecnoló-
gico. Disputar un futuro del trabajo con derechos laborales no puede estar
Inteligencia Artificial Feminista 250 Hacia una agenda de investigación en América Latina y el Caribe
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
ajeno a la lucha feminista, antirracista, por regularización migrante. Estas pequeñas letras son ideas, preocupaciones, deseos de seguir explorando las implicaciones del avance tecnológico y cómo desde nuestros lugares situados de lucha podemos contribuir con otros mundos posibles. Con mis compañeras del Observatorio de Plataformas tenemos un lema, “que el al- goritmo no controle nuestra humanidad”. Estoy segura de que la interven-
ción feminista y descolonial es fundamental para lograrlo.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 25 1
Z0Z
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
REFERENCIAS
Abílio, L. C., de Almeida, P. F., Amorim, H., Cardoso, A. C. M., da Fonseca, V. P., Kalil, R. B., 4 Machado, S. (2020). Condicóes de trabalho de entregadores via plataforma digital durante a Covid-19. Revista Jurídica Trabalho e Desenvolvimento Humano, 3. 10.33239/rjtdh.v.74
Browning, K. 8 Conger, K. (10 de septiembre de 2020). Cleaners demand harassment safeguards from the booking service handy. The New York Times. https://www.nytimes.com/2020/09/10/business/handy-service-cleaners-harassment.html
Dinegro, A. (2020). Capitalismo de plataformas: mi jefe es una App. Espiral, revista de geografías y ciencias sociales, 2(3), pp. 123-131. https: //revistasinvestigacion.unmsm.edu.pe/index.php/espiral/article/download/18452/15692/64 184
Federici, S. (2012). Revolution at point zero: Housework, reproduction, and feminist struggle. Oakland: PM Press.
Jaramillo, |. (2020). RIDERS: Entre el desvalor del trabajo y la superación del confinamiento. Bogotá: Friedrich-Ebert-Stiftung. http://library.fes.de/paf-files/bueros/kolumbien/16287.paf
Hidalgo, K. (2020a). Habitando las economías de plataforma. El ser mujer repartidora en Uber Eats y Glovo en Quito. En: Revista Akademía 3(1), pp. 329-377.
Hidalgo, K. (2020b). Madres, trabajadoras y precarizadas. La situación de las mujeres repartidoras de App en Ecuador. En Opción S. https://opcions.ec/portal/2020/10/07/madres-trabajadoras-y-precarizadas-la-situacion-de-las- mujeres-repartidoras-de-app-en-ecuador/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Reflexiones feministas sobre la economía de plataformas o que el algoritmo no controle tu humanidad
Hunt, A. 4 Samman, E. (2019). Gender and the gig economy. Critical steps for evidence-based policy. ODI. https://cdn.odi.org/media/documents/12586.paf
Morales, K. (2020). La valoración de la flexibilidad y la libertad en el trabajo de las apps. ¿Los trabajadores de plataformas son sujetos neoliberales? In: Hidalgo, K. 8 Salazar Daza, C. (Eds.) Precarización laboral en plataformas digitales. Una lectura desde América Latina, pp. 37-54. Quito: FES-ILDIS Ecuador.
Nakamura, L. (2015). The unwanted labour of social media: Women of colour call out culture as venture community management. In: New Formations: A Journal of Culture/ Theory/Politics 86(1), pp. 106-112. 10.3898/NEWF.86.06.2015
Organización Internacional del Trabajo. (2018). Digital labour platforms and the future of work: Towards decent work in the online world. https://www.ilo.org/global/publications/books/WCMS_645337/lang--en/index.htm
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 253
Un caso para una mayor inclusión y equidad en la investigación e
implementación de Abbijae Nevers , Chennel Williams
IA en el Caribe Raquel Seville Bl Brainz
Jamaica
Se prevé que el tamaño del mercado mundial de inteligencia artificial al- cance los 641 300 millones de USD para 2028 (Verified Market Research, 2022) y los líderes notables en el nicho son Google, Amazon, Alibaba, Mi- crosoft, Facebook, entre otros. Si bien los países del Caribe son consumidores de bienes y servicios de estas empresas, todavía no tienen un impacto significativo y una contribución a la investigación e implementa- ción de lA.
Estas empresas globales pueden verse como pioneras y guardianas de los datos y de la lA; sin embargo, la cuarta revolución industrial brinda igualdad de condiciones para todos y la capacidad de hacer que la educa- ción, el espíritu empresarial y la gobernanza sean más equitativos. (Wilson, 2021) Los pequeños estados insulares se encuentran en una posición única para aprovechar la inteligencia artificial, el aprendizaje automático, el
blockchain y otras tecnologías emergentes para transformar el sustento de
Inteligencia Artificial Feminista 254 Hacia una agenda de investigación en América Latina y el Caribe
Un caso para una mayor inclusión y equidad en la investigación e implementación de lA en el Caribe
sus ciudadanos y hacer crecer sus economías para competir con el PIB de los países del primer mundo.
El Caribe primero debe mirar los efectos coloniales históricos y resi- duales que resultan en una falta de representación y equidad para su gen- te. Esto incluye la atención médica y los datos subyacentes para diagnosticar, tratar y mejorar la vida de los pacientes. El impacto de la in- migración de trabajadores calificados, como enfermeras y maestras, que son predominantemente mujeres y que en la mayoría de los casos soportan la carga de mantener a sus familias, deja un vacío en muchos hogares y
sesga los datos de los programas sociales y la asignación de recursos.
Falta de datos
Un gran desafío al escribir contribuciones como esta es que hay una falta de datos en el Caribe. En algunos casos, los datos solo se pueden en- contrar a partir de investigaciones realizadas por organismos internaciona- les y existen muy pocos datos dentro de las naciones insulares individuales. Si examinamos la atención médica y profundizamos en las enfermedades pélvicas, la investigación muestra que las mujeres negras se ven afectadas de manera desproporcionada más que cualquier otra raza. Según Bougie et al. (2019), se observa que las mujeres negras tienen solo la mitad de pro- babilidades de ser diagnosticadas con endometriosis en comparación con las mujeres blancas y continúan destacando que la raza/etnicidad puede influir en la capacidad de acceder a la atención médica y obtener el manejo adecuado para la endometriosis a través de una combinación de factores
socioeconómicos, sociales e influencias genéticas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 255
Un caso para una mayor inclusión y equidad en la investigación e implementación de lA en el Caribe
En un artículo de Jamaica Observer, se informó que 100.000 mujeres y estudiantes sufren de endometriosis (Jamaica Observer, 2014) y puede haber cientos de miles más sufriendo en silencio o simplemente sin darse cuenta. No hay datos combinados disponibles para el Caribe, sin embargo, según la Organización Mundial de la Salud, la endometriosis afecta a 1 de cada 10 mujeres. (OMS, 2021) La población total del Caribe es de aproximadamente 43 millones y las mujeres constituyen el 50 % de ese total, por lo tanto, si el 10 % de esa población sufre de endometriosis, estamos ante 2,1 millones de mujeres que potencialmente podrían estar sufriendo de endometriosis y pueden no estar diagnosticadas y no ser conscientes de eso.
Esto destaca una importante preocupación de salud y la necesidad de investigación y datos adecuados para respaldar esta teoría. También existe una gran oportunidad de utilizar la lA para aprender hábitos, tenden- cias y patrones para ayudar con la detección temprana y la prevención del síndrome de ovario poliquístico, la endometriosis, la adenomiosis y cual- quier otra enfermedad pélvica que afecte a las niñas y mujeres jóvenes en sus años reproductivos. Podría haber una asociación entre los ministerios de atención de la salud de CARICOMI%4] para crear una aplicación específi- ca para nuestras necesidades regionales para recopilar datos relevantes
para nuestra gente y utilizar esos datos anónimos para realizar investiga-
[94] La Comunidad del Caribe es una organización internacional para el fortalecimiento de las relaciones en la región del Caribe, fundada en 1973 por el Tratado de Chaguaramas. Los países miembros son Trinidad y Tobago, Jamaica, Barbados, Guyana, Antigua y Barbuda, Belice, Dominica, Granada, Monserrate, San Cristóbal y Nieves, Santa Lucía, San Vicente y las Granadinas. (Wikipedia)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 256
Un caso para una mayor inclusión y equidad en la investigación e implementación de lA en el Caribe
ciones y aprendizaje profundo para comprender las causas subyacentes, los desencadenantes y posiblemente encontrar una cura o indicaciones de opciones específicas de estilo de vida que pueden cambiarse o eliminarse. Si bien es posible que se realicen investigaciones al respecto en otros paí- ses fuera del Caribe, es importante tener en cuenta que la demografía es diferente, el entorno es diferente, la comida es diferente, por lo que debe- mos construir nuestros propios sistemas para abarcar un enfoque más in- clusivo para la investigación e implementación de la lA.
La inmigración también es un área clave en la que tenemos una falta de inclusión y representación para apoyar la investigación de lA en el Cari- be. Según Batalova y Zong (2019), la diáspora caribeña en los Estados Unidos comprende casi 8 millones de personas que nacieron en una nación insular del Caribe o que informaron ascendencia de un país determinado en el Caribe. Entre 1980 y 2000, la población inmigrante del Caribe en el país aumentó en más del 50 por ciento cada diez años y las remesas que ingre- san a América Latina y el Caribe ascendieron a $103 mil millones en 2020. (CARICOM, 2021) Solo el Caribe recibe aproximadamente $12 mil millones de ese total (Batalova 8 Zong, 2019), en cuanto Haití y Jamaica represen- tan el 86,2% de las remesas que fluyen hacia los estados de CARICOM. A un nivel más amplio, la República Dominicana recibió más de la mitad (54%) de todas las remesas enviadas al Caribe, seguida por Jamaica (21%) y Haití (20%).
Las remesas son un contribuyente fundamental para los hogares de muchos caribeños, pero también para el PIB de algunos de estos países.
Como se señaló anteriormente, la mayoría de los inmigrantes son mujeres
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 257
Un caso para una mayor inclusión y equidad en la investigación e implementación de lA en el Caribe
y son el sostén de sus familias. El éxodo de mujeres de la región del Caribe afecta a la región en su conjunto y, como resultado, vemos casos de bajas tasas de matrimonio, hogares unifamiliares y niños criados por familias ex- tensas y abuelas.
Si bien las remesas pueden ayudar a compensar los salarios más bajos y las peores condiciones económicas en el Caribe, es importante comprender el impacto de los hogares sin madre y de la ruptura de la uni- dad familiar. Debería haber más programas de investigación orientados a capturar datos y comprender el impacto de este cambio, usando lA para construir modelos que puedan aprender comportamientos e identificar pa- trones que podrían arrojar luz sobre las altas tasas de delincuencia y activi- dades delictivas entre hombres jóvenes, jóvenes en situación de riesgo social y otros desafíos socioeconómicos que aquejan a los diferentes go- biernos y comunidades del Caribe. Estos patrones y tendencias de com- portamiento podrían luego usarse para informar la intervención social y los programas de extensión comunitaria. Por lo tanto, la inteligencia artificial puede ayudar a informar la reasignación de recursos limitados a áreas que
serían mejor atendidas y así tendrían mayor impacto.
Inteligencia Artificial Feminista 258 Hacia una agenda de investigación en América Latina y el Caribe
Un caso para una mayor inclusión y equidad en la investigación e implementación de lA en el Caribe
REFERENCIAS
Batalova, J. 8 Zong, J. (13 de febrero de 2019). Caribbean immigrants in the United States. [Inmigrantes caribeños en los Estados Unidos.] Migration Policy Institute. https: //www.migrationpolicy.org/article/caribbean-immigrants-united-states-2017
Bougie, O, Yap, Ma.l, Sikora, L, Flaxman, T, Singh, $. Influence of race/ethnicity on prevalence and presentation of endometriosis: a systematic review and meta- analysis. BJOG 2019; 126, pp. 1104— 1115. https://doi.org/10.1111/1471-0528.15692
CARICOM. (18 de mayo de 2021). Haiti and Jamaica account for 86.2% of CARICOM remittances. [Haití y Jamaica representan el 82% de las remesas de CARICOM.]
https://caricom.org/haiti-and-jamaica-account-for-86-2-of-caricom-remittances/
Mundle, T. (2 de marzo de 2014). 100,000 J'can women, girls suffer pelvic disease. [100.000 mujeres y niñas J'can sufren enfermedades pélvicas.] Jamaica Observer. https://www.jamaicaobserver.com/news/100000-¡can-women-girls-suffer-pelvic-disease/
Wilson, S. (org.) (2021). Intelligent economies: Developments in the Caribbean. Informing Science Press.
Organización Mundial de la Salud. (2021). Datos clave de la endometriosis. https://www.who.int/news-room/fact-sheets/detaillendometriosis
Verified Market Research. (2022). Global artificial intelligence market size by component analysis (hardware, software and services), by technology (deep learning, machine learning, natural language processing), by end-user industry (healthcare, manufacturing, agriculture), by geographic scope and forecast. [Reporte]. https://www .verifiedmarketresearch.com/download-sample/?rid=3162
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 259
Diseño de un índice global basado en derechos sobre lA
responsable Rachel Adams
Research ICT Africa Sudáfrica
La inteligencia artificial (IA) es un problema perverso al que se enfrenta la sociedad en todo el mundo. Es perverso porque es complejo y difícil de definir como una preocupación política. ¿Cómo se está utilizando y quién debe —¿quién puede?-— asumir la responsabilidad de garantizar que se utilice para mejorar la sociedad? A medida que avanza cada vez más para convertirse en una tecnología de uso general, no puede aislarse de las condiciones sociales y económicas en las que se produce y utiliza; de hecho, está cambiando la naturaleza misma de las sociedades y las eco- nomías, exigiendo nuevos tipos de investigación e intervenciones políticas para comprender y gestionar sus efectos. (Coyle, 2021). Lo que hace que la IA sea más compleja es la paradoja en la que está ligada: esta tecnología, que ofrece un gran potencial de transformación para las sociedades en su capacidad para calcular grandes franjas de información, a una tasa de efi- ciencia mucho mayor que cualquier mente humana, conlleva un gran riesgo para los derechos y valores fundamentales. La evidencia ha demostrado
que incluso los usos más legítimos de la lA han causado daño a las perso-
Inteligencia Artificial Feminista 260 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
nas y sus sociedades y entornos (Pizzi, Romanoff 8 Engelharat, 2021). Para agregar a esto, aún no conocemos las implicaciones o impactos com- pletos que la lA está teniendo, o tendrá, en diferentes sociedades alrededor del mundo.
En respuesta, se han desarrollado marcos que establecen los princi- pios éticos básicos que deben respetarse a medida que se diseña, desa- rrolla, usa y evalúa la tecnología. Estos principios éticos reflejan algunos de los valores centrales de la sociedad humana que se considera amenazada por la lA, tales como: quién debe rendir cuentas por los daños que pueda causar o cómo podemos asegurarnos de que sabemos lo suficiente sobre cómo funciona una lA para ser capaz de aislar la causa de sus efectos no- civos. Los Principios sobre Inteligencia Artificial de la OCDE, adoptados en 2019, han sido un marco particularmente importante en este sentido. (OCDE, 2019) A fines de 2021, se alcanzó otro hito importante para la co- munidad internacional cuando la Recomendación de la UNESCO sobre éti- ca en la lA (UNESCO, 2021) fue adoptada por unanimidad por los 193 estados miembros. Esto constituye un gran avance en la ética de la lA: la Recomendación de la UNESCO ofrece un marco amplio sobre cómo se debe desarrollar y utilizar la lA para mejorar la sociedad humana en dife- rentes contextos alrededor del mundo, ofreciendo el primer instrumento global de este tipo y enfatizando la importancia de la diversidad y del con- texto cultural en la aplicación de sus disposiciones.
A medida que avanzamos en la profundización de nuestra compren- sión colectiva de cómo la lA está remodelando nuestras sociedades y qué
modelos de políticas se requieren para gestionar mejor sus efectos al ser-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 26 1
Diseño de un índice global basado en derechos sobre lA responsable
vicio del bienestar humano y planetario, se necesita información sobre el estado global de la implementación de los principios de la UNESCO y las barreras que enfrentan los países para proteger a las personas de los ries- gos para los derechos humanos y las libertades democráticas que la lA puede traer. Esta es la premisa del nuevo Índice Global de lA Responsable (Índice Global).
El Índice Global sobre lA responsable
El Índice Global es una nueva herramienta basada en derechos que se está desarrollando para apoyar a una amplia gama de actores en el avance de las prácticas de lA responsable. Su objetivo es proporcionar un punto de referencia completo, confiable, independiente y comparativo para evaluar el progreso hacia una lA responsable en todo el mundo. En última instancia, al proporcionar investigaciones y datos para fomentar la rendición de cuentas, desarrollar intervenciones políticas más precisas y perfeccionar las mejores prácticas, además de fomentar la cooperación regional e inter- nacional, el Índice global reforzará la capacidad de los gobiernos, de las or- ganizaciones de la sociedad civil y de otras partes interesadas en todo el mundo para defender los principios de la |A responsable basada en los derechos.
Una de las innovaciones clave del Índice Global es el desarrollo de un enfoque totalmente integrado basado en los derechos humanos que in- formará las dimensiones comparativas del Índice. Este enfoque es innova- dor por dos razones. Primero, por la codificación de las obligaciones de
derechos humanos junto a los principios aceptados de la ética de la IA para
Inteligencia Artificial Feminista 262 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
establecer puntos de referencia concretos para una lA responsable basada en los tratados y estándares de derechos humanos existentes. Y segundo, por desarrollar un índice — un instrumento de investigación diseñado para crear un sistema de clasificación contra el logro de puntos de referencia universalmente aplicables — que busca evaluar de manera justa el progreso de un país hacia la lA responsable con una metodología basada en los estándares de derechos humanos y en la realización progresiva de dere- chos socioeconómicos sujetos a los recursos disponibles, a fin de adaptar- se a las diversas condiciones dentro de los países.
En este artículo introductorio al proyecto del Índice Global, discuto estas innovaciones con más detalle, describiendo exactamente lo que que- remos decir con un Índice Global basado en derechos y por qué creemos
que esto es importante.
Derechos humanos
Los derechos humanos comprenden un marco ampliamente acepta- do para las condiciones básicas de la humanidad codificado en el derecho internacional, regional y nacional, con más de 170 países que han ratificado la declaración internacional de derechos (que consta de la Declaración Universal de Derechos Humanos, del Pacto Internacional de Derechos Ci- viles y Políticos, y del Pacto Internacional de Derechos Sociales, Económi- cos y Culturales). Esto incluye derechos a participar en la vida social, cultural y política; tener acceso a alimentos, agua, atención médica y vi- vienda para sobrevivir; tener protección social del Estado cuando sea ne-
cesario; estar igualmente sujetos a leyes justas; tener libertad de
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 263
Diseño de un índice global basado en derechos sobre lA responsable
pensamiento; y tener estos derechos, y todos los demás derechos, realiza- dos y protegidos.
En los sistemas regionales de derechos humanos que se han esta- blecido se enfatizan los derechos derivados de contextos históricos. Dentro del canon de la Organización de los Estados Americanos, por ejemplo, el derecho al trabajo y los derechos laborales justos son clave, mientras que dentro del sistema africano de derechos humanos, el derecho a estar libre de la esclavitud de la dominación y los derechos comunitarios tienen una importancia particular. La erradicación de la discriminación contra las muje- res y el logro de la igualdad de género sustantiva es una prioridad univer- sal, tal como se expresa en los Objetivos de Desarrollo Sostenible (ODS) de la ONU.
La Al supone un riesgo para el disfrute y la realización de los dere- chos humanos en todo el mundo. Conocemos bien las infracciones al derecho a la privacidad involucradas en el uso intensivo de datos por parte de Al y los impactos en la libertad de movimiento y asociación de la vigilan- cia impulsada por la Al. La creciente evidencia de los efectos discriminato- rios dañinos de la lA en las mujeres, las minorías de género y las personas racializadas, entre muchos otros grupos vulnerables dentro de la sociedad, está impulsando a los actores de todo el mundo a considerar con mayor ur- gencia las herramientas necesarias para abordar este problema y poner en práctica los principios de lA responsable y ética.
Lo que ha sido una prioridad política bastante menor es la forma en que la lA está contribuyendo a la desigualdad entre y dentro de los países
en la distribución radicalmente desigual de sus beneficios y riqueza. Para
Inteligencia Artificial Feminista 264 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
abordar esta preocupación, se requiere cooperación y solidaridad interna- cionales sobre el uso beneficioso de la IA para todas las personas en todas
partes y el cumplimiento de estándares definidos de lA responsable.
¿Por qué un enfoque basado en los derechos humanos?
Un Índice Global basado en derechos puede ayudar a respaldar la promoción y la protección de los derechos humanos en el desarrollo y uso de la lA. Esto incluye ayudar a los titulares de deberes de derechos huma- nos a comprender sus responsabilidades en relación con la lA; a los go- biernos, en el cumplimiento de sus obligaciones de derechos humanos en un contexto digital cambiante; a las defensoras y los defensores de los de- rechos humanos en el seguimiento y en la defensa de la protección de los derechos humanos en riesgo por la Al; y a los titulares de derechos para reclamar sus derechos y acceder a remedios y reparaciones cuando esos derechos se hayan violado.
Los derechos humanos constituyen un marco ejecutable para la pro- tección de las personas y de las comunidades frente al abuso de poder. Discutido con más detalle en las secciones a continuación, esto significa que nuestro punto de partida para medir de manera justa el progreso de un país en lA responsable es un conjunto de normas y estándares ya acorda- dos por los gobiernos de todo el mundo y por la comunidad internacional.
Además, un enfoque basado en los derechos obliga a un enfoque de diseño particular que se centre en la no discriminación y la igualdad sus- tantiva; la inclusión y la participación, particularmente con las comunidades
afectadas; la transparencia y la accesibilidad, de modo que los datos que
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 265
266
Diseño de un índice global basado en derechos sobre lA responsable
producimos y la metodología que adoptamos puedan ser utilizados y en- tendidos por otros; y la equidad, de modo que el índice refleje fielmente los contextos y las realidades locales.
Sin embargo, los derechos humanos no están exentos de limitacio- nes y críticas, como ha sido expresado por académicos y especialistas. Antes de detallar lo que entendemos por un enfoque basado en derechos humanos, es importante considerar estas preocupaciones y sus implicacio-
nes para diseñar un Índice Global inclusivo y con impacto.
Superación de las limitaciones de los derechos humanos A. Exigibilidad
Una crítica clave del sistema de derechos humanos es su falta_de eficacia para alcanzar el cambio radical necesario para lograr un mundo verdaderamente justo e igualitario debido a su amplio alcance y su carácter de ley blanda, no jurídicamente vin- culante. Esto significa que cuando se han firmado tratados interna- cionales o regionales de derechos humanos sin incorporarlos en las leyes nacionales, los mecanismos de aplicación de esos tratados son a menudo ineficaces.
Estos argumentos son particularmente importantes en el con- texto de la ética de la lA donde, hasta la fecha, el espacio se carac- teriza en gran medida por estándares éticos no vinculantes y medidas de autorregulación. En este sentido, hay lecciones que
aprender del sistema internacional de derechos humanos sobre los
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
mecanismos de aplicación y supervisión, así como la necesidad de apoyar activamente la puesta en práctica nacional de la ética de la IA a través del desarrollo de capacidades de personas, sistemas e instituciones, la colaboración entre naciones y con organizaciones internacionales, y la transparencia, para permitir el monitoreo y la presentación de informes independientes.
Sin embargo, quizás de manera más definitiva, el sistema de derechos humanos desarrollado durante los últimos 70 años brinda la base para articular y establecer deberes y responsabilidades claros para los actores involucrados en el desarrollo y uso de la lA y, por lo tanto, otorga mayor peso y contenido a los principios de lA éticos y responsables. De esta manera, el discurso y la regulación en torno a la lA responsable pueden aprovechar la experiencia y la jurisprudencia del sistema de derechos humanos, dando contenido a los derechos, orientación sobre su cumplimiento y realización progresiva, y precedencia en el equilibrio de derechos e intereses
contrapuestos.
B. Hacer que las empresas rindan cuentas por las
violaciones de los derechos humanos
Tradicionalmente, los derechos humanos han impuesto a los gobiernos, como titulares de deberes, la obligación de proteger o hacer realidad los derechos humanos de las personas y las comuni-
dades como titulares de derechos. Históricamente, los actores
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 267
Diseño de un índice global basado en derechos sobre lA responsable
corporativos no han tenido responsabilidades específicas y directas en materia de derechos humanos. Si bien la responsabilidad última de proteger y promover el respeto a los derechos humanos recae en los gobiernos, la falta de responsabilidades específicas basadas en los derechos humanos para las empresas ha planteado una limita- ción en el disfrute y la realización de estos derechos, particularmente en contextos en los que los gobiernos no cumplem - o no son capa- ces de cumplir - con sus propios deberes de derechos humanos o exigir que las empresas rindan cuentas. Esto se ve exacerbado en países de bajos recursos donde las empresas multinacionales que operan en la región ejercen un poder significativo sobre los gobier- nos locales.
En el contexto de la lA, la responsabilidad corporativa por su uso y desarrollo es un componente crítico de la lA responsable. Sin embargo, esto se complica por la falta de marcos aplicables para obligar a las empresas a actuar de manera responsable y respetar los derechos humanos. Ha resultado particularmente difícil hacer que las grandes empresas tecnológicas y multinacionales de lA rin- dan cuentas por los daños cometidos fuera del país en el que tienen su sede; por ejemplo, el papel de Facebook en el genocidio de Myanmar.
En este sentido, se necesita hacer mucho más para obligar a las empresas de lA a desarrollar y utilizar la lA responsablemente de manera que no sea perjudicial para las personas o las comunidades.
En 2011, el profesor John Ruggie publicó el fundamental
Inteligencia Artificial Feminista 268 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
Principios rectores de las Naciones Unidas sobre las empresas y los derechos humanos, que puso en marcha debates y compromisos más amplios sobre cómo las empresas deberían y podrían rendir cuentas por sus responsabilidades relacionadas con los derechos humanos. (Ruggie, 2011) Los Principios Rectores de la ONU inclu- yen disposiciones que serán especialmente importantes para su consideración en el Índice Global, como la responsabilidad de las empresas de garantizar el respeto de los derechos humanos en to-
das las cadenas de suministro de las empresas.
C. ¿Quién es considerado “humano” en derechos humanos y el Sur Global en el centro de los debates de |A?
Otra crítica importante de los derechos humanos proviene del pensamiento poscolonial y descolonial, que señala la historia clara- mente occidental de los derechos y la noción de que la provisión de derechos a la humanidad implica un a priori de quién es considerado humano y, por lo tanto, digno de tener derechos.
Esta es también una pregunta particularmente pertinente en relación al campo de la |A que busca imitar la inteligencia humana y, en última instancia, reproducir al ser humano en forma de máquina
(ya sea en parte o en su totalidad). Involucrados en este proceso
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 269
270
Diseño de un índice global basado en derechos sobre lA responsable
están los supuestos críticos —y normativos— sobre quién y qué es el ser humano.!*Adams, 2021)
En el evento de anuncio del Índice Globall*él que se llevó a cabo como un evento paralelo a la Cumbre por la Democracia 2021, la profesora del Tecnológico de Monterrey, Paola Ricaurte, habló sobre la importancia de abordar las cuestiones de violencia y asi- metrías de poder en el Índice Global como áreas críticas para el tra- bajo feminista y descolonial de Al. Esto incluye cuestionar cómo las tecnologías de lA permiten la violencia contra las mujeres; qué vio- lencias se ejercen, cómo y quién crea la lA, las condiciones labora- les injustas a las que están sometidas las personas como etiquetadoras de imágenes perturbadoras para entrenar lA; el acoso sexual o la discriminación por motivos de género como parte de los equipos de diseño de lA; la pérdida de un entorno saludable por la extracción insostenible de los recursos naturales necesarios para impulsar la lA, entre otros aspectos.
Al desarrollar el Índice Global, estos temas serán una preo- cupación central. Realizaremos una serie de ejercicios de consulta
con grupos de derechos de las mujeres, académicas y académicos
[95] En relación con los derechos humanos, también hay debates importantes y emergentes sobre si los robots, una vez que tengan
[96
capacidad de sentir, deberían tener derechos, similar a los derechos humanos. Y, si un robot tiene agencia, si un robot no debería tener también responsabilidades y obligaciones relacionadas con los derechos humanos. Estas discusiones quedan fuera del alcance actual del Índice Global ya que son, en esta etapa, preocupaciones conceptuales y no afectan de inmediato la realización o el disfrute de los derechos humanos.
“Moving from principles to practice in responsible Al around the world: Announcement of the new Global Index on Responsible Al”. La grabación del evento está disponible en: https://www.idrc.ca/en/events/moving-principles-practice-responsible-ai-around-world-announcement-new-global-index
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
indígenas de Al, grupos de defensa de los derechos humanos y par- tes interesadas del Sur Global, para comprender mejor las preocu- paciones particulares que enfrentan diferentes grupos en diferentes partes del mundo en relación con la lA con el fin de construir un ín- dice que aborde los desafíos reales y prácticos y que se pueda utili- zar como una herramienta para respaldar mayores esfuerzos de defensa de la lA responsable.
Además, el Índice Global es quizás la primera herramienta global de lA que se desarrolla con el liderazgo del Sur Global, ya que la iniciativa está dirigida por Research ICT Africal*?l con un equipo de personas expertas en inteligencia artificial de África, Asia y América del Sur. En el proceso de desarrollo del Índice Global, se hará espe- cial hincapié en apoyar la capacidad de los investigadores de lA del
Sur Global para participar -y liderar- debates globales sobre lA.
Un enfoque basado en los derechos humanos
Los elementos de un enfoque basado en los derechos humanos se han detallado en el derecho internacional de los derechos humanos y con-
sisten en los siguientes cinco principios:
[97] http:/Awww.researchictafrica.net/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 2T 1
272
Diseño de un índice global basado en derechos sobre lA responsable
Principios de un enfoque basado en los derechos humanos
Universalidad e inalienabilidad : Toda persona tiene derecho a todos los : derechos humanos, por igual y sin distinción
PPP rr rro rr rra a roca o acre rr coros rro cro coros
Indivisibilidad e ¿Todos los derechos son inherentes a la interdependencia : dignidad humana: la realización y el disfrute : de un derecho depende de la realización de ¿otro derecho. Esto requiere una realización : holística de todos los derechos y ninguna : compensación entre los derechos.
Igualdad y no discriminación : Todos los seres humanos son iguales en virtud : de su dignidad inherente. Como tal, todos
: los seres humanos tienen derecho al disfrute igualitario de sus derechos sin discriminación
Participación e inclusión : Todas las personas tienen derecho a una : participación equitativa, libre, activa ¿y significativa en la implementación y :el disfrute de todos los derechos
Rendición de cuentas y : Todos los titulares de deberes (tanto jejee estado de derecho : como no estatales) tienen obligaciones con : respecto a la realización de los derechos : humanos. Como tales, deben cumplir con las : normas y estándares legales en materia de : derechos humanos que se han establecido : a nivel nacional e internacional. Si no lo : hacen, las partes agraviadas tienen derecho : a Un recurso o reparación efectivos.
Adaptado de Adams et al. (2021).
Estos principios se adoptarán en el diseño de la metodología y del marco conceptual del Índice Global, como se analiza a continuación. Como
mínimo, esto incluye atención específica a lo siguiente:
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
o Énfasis en la no discriminación
o Énfasis en la realización de la igualdad sustantiva y el reconoci- miento de la experiencia diferencial de disfrute o acceso a los dere- chos en la era digital
o Énfasis en la consulta pública significativa, en la participación y en la inclusión en el diseño, uso y gobernanza de la lA
o Interferencia de los sistemas de lA con los derechos proporcionada, legítima y razonable en una sociedad democrática y establecida por ley o Beneficencia y distribución justa de los beneficios de lA para pro- teger contra el empeoramiento de la desigualdad.
o Recurso a la jurisprudencia nacional, regional e internacional sobre derechos humanos para equilibrar derechos y principios contrapuestos o Exigencia a los actores no estatales poderosos que tomen medi- das positivas para realizar y proteger los derechos humanos afecta- dos por el desarrollo y por el uso de la lA
o Mecanismos de reparación y remedio cuando se produzcan viola- ciones como resultado del desarrollo y del uso de la lA deben ser fá- cilmente accesibles
o Conocimiento y acceso a derechos en el contexto de la lA y de la digitalización de la sociedad por parte de sus titulares
o Enfoque en crear futuros inclusivos a través del diseño inclusivo de tecnología inclusiva
o Desarrollo de una regulación que tenga en cuenta la indivisibilidad e interdependencia de los derechos de manera que, por ejemplo, el derecho a la privacidad se entienda junto a la dignidad, a la libertad
de circulación y a la no discriminación, entre otros
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 213
Diseño de un índice global basado en derechos sobre lA responsable
Definición de “responsabilidad”
En los últimos años, ha habido un cambio en el discurso sobre la
buena gobernanza de la lA, de una lA ética a una lA responsable. Si bien la
IA ética conserva su fortaleza, junto con la lA confiable, y aunque en la
práctica puede haber una diferenciación limitada entre estos términos, los
derechos humanos brindan un marco claro de responsabilidad que consi-
deramos útil para definir la lA responsable.
Esto se traduce en el siguiente marco de responsabilidad de la lA:
Marco de responsabilidad de derechos humanos
Promover : Proteger de- derechos ¿echos
Gobiernos; la : : Gobiernos (y sociedad civil: : empresas que y los orga- ¿cumplan con nismos de :un deber gu- promoción; ¿bernamental empresas : de derechos
: humanos)
274
: y empresas
: Monitorear : Reclamar
: derechos : derechos
: Organismos : Individuos y :independientes ¿comunidades : de derechos :
: humanos; la so-
: ciedad civil y los
: grupos de defen- :
:Sa; académicos,
: entre otros.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
Marco de Responsabilidad de IA y derechos humanos
Responsabilidad del gobier- * Promover el desarrollo responsable de no: garantizar que en el país sistemas de lA que respeten los dere- existan las condiciones para chos, incluido el establecimiento de mar- el uso responsable de la lA cos legales y regulatorios pertinentes.
PPPLLLLLLLLALAAAAAU00
: + Supervisar el impacto de la lA en los : derechos humanos y proporcionar reme- ¿dios para las violaciones de los derechos
Responsabilidad corporati- : + Desarrollar y utilizar sistemas de lA va: promover y respetar los : de manera que promuevan los derechos derechos humanos en el de- : humanos y fortalezcan la democracia
sarrollo y en el uso de la lA : : + Respetar los derechos humanos en : todas las cadenas de suministro
Responsabilidad social: pro- mover y monitorear los de- rechos humanos por parte de las y los usuarios y de las y los desarrolladores de lA
+ Defender el respeto por los derechos humanos en el uso y en el desarrollo de lA
e Monitorear el uso estatal y cor- : porativo de lA y promover la con- : ciencia de los derechos.
Este marco de responsabilidad incluye tanto la no injerencia en los llamados derechos de deber negativo, como la libertad de expresión y el derecho a la privacidad, como también los derechos de deber positivo, como son el derecho a la educación o el acceso a la atención médica. Esto es importante en el contexto de la “lA responsable”, donde queremos ase- gurarnos de que la IA no solo se use de una manera ética que no infrinja los derechos humanos, sino que su uso contribuya de manera significativa a la realización progresiva de derechos y deberes positivos y de los
Objetivos de Desarrollo Sostenible.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 215
Diseño de un índice global basado en derechos sobre lA responsable
Codificación de estándares de lA responsables basados en derechos
El Índice Global implicará un proceso para codificar las obligaciones y los estándares de derechos humanos junto con principios éticos de lA ampliamente aceptados. La Recomendación de la UNESCO constituye un importante punto de partida para nuestro trabajo, articulando la protección y promoción de los derechos humanos como uno de sus principios centrales, junto con la diversidad y la sostenibilidad ambiental. Otros marcos clave in- cluyen la Declaración de Toronto: Proteger el derecho a la igualdad y la no discriminación en los sistemas de aprendizaje automático (Amnistía Inter- nacional, 2018), el Protocolo Indígena e Inteligencia Artificial (Lewis, 2020), y los principios feministas de la lA (Tandon, 2021).
La Recomendación de la UNESCO se desarrolló después de un ex- tenso período de consulta de 2 años con partes interesadas de todo el mundo y representa el marco más completo y ampliamente aceptado sobre la ética de la lA hasta la fecha.
La metodología central para medir la lA responsable se basará en el marco de valores, principios y áreas de acción política establecidos en la Recomendación de la UNESCO que deben traducirse en un conjunto de indicadores clave basados en los derechos humanos para respaldar la me- dición. (Consulte la sección a continuación para obtener más información sobre el desarrollo de indicadores.)
Nuestro enfoque de derechos humanos abarca no sólo los derechos civiles y políticos, como la privacidad, la libertad de expresión y asociación,
que están bien reconocidos como afectados por la lA, sino que, a partir de
Inteligencia Artificial Feminista 276 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
la Recomendación de la UNESCO y de los aportes de la consulta con las partes interesadas del Sur Global, también incluye los derechos sociales, económicos, ambientales y culturales, los derechos de la comunidad, los derechos laborales y los derechos de las niñas y los niños. La erradicación de la discriminación contra las mujeres y los grupos sistémicamente desfa- vorecidos en virtud de su identificación sexual, junto con la realización de una igualdad de género sustantiva, también constituirán áreas de enfoque
clave del Índice Global.
Un enfoque basado en los derechos humanos como met- odología
Uno de los principios clave del diseño del Índice Global es la equi- dad. Es decir, reflejar de manera justa los contextos y las realidades locales y medir el nivel de |A responsable de un país en relación con los recursos disponibles. Esto no solo es importante porque tenemos en cuenta la desi- gualdad global de capacidad y recursos de lA entre países, sino porque los resultados justos y contextuales son mucho más informativos y útiles para los países y las partes interesadas locales que buscan avanzar en su pro- pio progreso hacia una lA responsable.
Sin embargo, incorporar la equidad en la metodología de un índice no es sencillo. Los índices tienden a utilizar puntos de referencia estándar para medir a los países frente a criterios universales como base para la clasificación. En cambio, el Índice Global se inspira en el sistema de dere- chos humanos para entender cuáles serían las medidas que se esperaría
que tomen los países de diferentes niveles de recursos para proteger y
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 277
Diseño de un índice global basado en derechos sobre lA responsable
cumplir los derechos humanos. El Pacto Internacional de Derechos Econ- ómicos, Sociales y Culturales (PIDESC), ratificado por más de 140 países, prevé el concepto de la realización progresiva de los derechos sujeta al máximo de recursos disponibles. Esto significa que se espera que los go- biernos tomen todas las medidas posibles utilizando los máximos recursos disponibles para apoyar la realización de los derechos socioeconómicos de deber positivo, como el agua, la vivienda y la seguridad social. Reconoce que los países se encuentran en diferentes etapas en la realización de los derechos socioeconómicos y no todos disfrutan del acceso al mismo nivel y escala de recursos necesarios para cumplir con la realización de estos de- rechos. Los recursos disponibles (CESCR, 2007) incluyen tanto los recur- sos disponibles dentro de un país (públicos y privados) como los recursos disponibles a través de la asistencia y cooperación internacional.
El Índice Global se basará en el concepto de la realización progresi- va de los derechos sujetos al máximo de recursos disponibles en su meto- dología de dos maneras principales. Primero, en el desarrollo de un conjunto de indicadores que midan también el proceso y el desarrollo de capacidades y no solo los resultados. Y segundo, en el desarrollo de un marco de evaluación de criterios que medirá el progreso de un país en el logro de un indicador de lA responsable frente a una escala desarrollada de acuerdo con tres niveles de recursos: países de bajos recursos, países de recursos medios y países de recursos altos.
Los indicadores pueden incluir: indicadores de “entrada”, como la ratificación de instrumentos clave de derechos humanos o la existencia de
una ley de protección de datos; indicadores de “proceso”, como la inversión
Inteligencia Artificial Feminista 278 Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
en programas de ciencia de datos para mujeres; e indicadores de “resulta- do” e “impacto”, como el número de denuncias relacionadas con Al presen- tadas ante un organismo independiente de protección de los derechos humanos. El desarrollo de indicadores se realiza y se seguirá realizando en consulta con una amplia gama de partes interesadas en un esfuerzo por abordar el ámbito completo de los desafíos (y oportunidades) de derechos humanos asociados con la lA.
El Índice Global también tendrá en cuenta las obligaciones básicas mínimas establecidas en el PIDESC, que requieren que ciertas obliga- ciones socioeconómicas de derechos humanos de los gobiernos se cumplan de inmediato y siempre, incluso en un estándar básico. Esto inclu- ye el acceso a oportunidades laborales, en particular para las comunidades desfavorecidas y el acceso a un plan de seguridad social para garantizar las necesidades básicas, como agua, vivienda y alimentación. Por lo tanto, el Índice Global incluirá una evaluación de si la lA interfiere con las obliga- ciones básicas mínimas de un gobierno, o si se utiliza de manera efectiva
para cumplirlas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 279
280
Diseño de un índice global basado en derechos sobre lA responsable
REFERENCIAS
Adams et al. (2021). Human Rights and the fourth industrial revolution in South Africa. Ciudad del Cabo: HSRC Press. https: //www.hsrcpress.ac.za/books/human-rights-and-the-fourth-industrial-revolution-in-south- africa
Adams, R. (2021). Can artificial intelligence be decolonized?. Interdisciplinary Science Reviews, 46(1-2), 176-197. https://doi.org/10.1080/03080188.2020.1840225
Amnistía Internacional. (2018). The Toronto Declaration: Protecting the right to equality and non-discrimination in machine learning systems. https: //www.accessnow.org/cms/assets/uploads/2018/08/The-Toronto-Declaration_ENG_08- 2018.pdf
Comité de Derechos Económicos, Sociales y Culturales - Naciones Unidas. (2007). Evaluation of the obligation to take steps to the “maximum of available resources' under an optional protocol to the covenant. UN doc. E/C, 12, 1. https://www2.ohchr.org/english/bodies/cescr/docs/statements/Obligationtotakesteps-2007 .paf
Coyle, D. (2021). Cogs and monsters: What economics is, and what it should be. Princeton University Press.
Lewis, J. E. (ed.) (2020). Indigenous protocol and artificial intelligence position paper. Honolulu: The Initiative for Indigenous Futures and the Canadian Institute for Advanced Research (CIFAR). 10.11573/spectrum.library.concordia.ca.00986506
OECD. (2019). Al Principles. Al Policy Observatory.
https://0ecd.ai/en/ai-principles/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe
Diseño de un índice global basado en derechos sobre lA responsable
Pizzi, M., Romanoff, M., 8 Engelharat, T. (2020). Al for humanitarian action: Human rights and ethics. International Review of the Red Cross, 102(913), 145-180. 10.1017/S1816383121000011
Ruggie, J. (2011). Re: Guiding Principles for the implementation of the United Nations “Protect, Respect and Remedy” Framework. United Nations Document, 3. https://www.ohchr.org/sites/default/files/documents/publications/guidingprinciplesbusinesshr_en .paf
Tandon, A. (2021). Practicing feminist principles in Al design. Feminist Al. https: //feministai.pubpub.org/pub/practicing-feminist-principles
UNESCO. (2021). Recommendation on the ethics of artificial intelligence.
https://en.unesco.org/artificial-intelligence/ethics
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 28 1
Sigue la pista: Iniciativas y recursos sobre inteligencia artificial
Iniciativas desde la
sociedad civil para la
sensibilización en temas de
ética en inteligencia pi)
Laura Alonso Alemany Luciana Benotti
artificial Matías Bordone Beatriz Busaniche
Lucía González
Alexia Halvorsen
Fundación Vía Libre Argentina
Cada día más procesos sociales y decisiones son atravesados por sistem- as automatizados basados en sistemas algorítmicos. Estos procesos rara vez son transparentes e implican impactos sobre los derechos de la ciudadanía. Desde Fundación Vía libre trabajamos hace tiempo en el seguimiento, análisis y el debate desde la ética y los Derechos Humanos para que la adopción de Inteligencia Artificial (IA) no implique retrocesos en
la calidad de vida y la dignidad de las personas.!*8l
[98] En este marco consolidamos durante el 2021 un grupo de trabajo de ética en IA de Fundación Vía Libre (FVL). El equipo es interdisciplinario, Luciana es del área de informática, Laura Alonso es de lingúística, y ambas investigan en lingúística computacional junto a Lucía, quien está haciendo su tesis de maestría en computación en el marco del equipo. Matías Bordone, también de informática, se especializa en educación. Laura Ación se especializa en bioestadística e investiga en el área de ética en ciencia de datos. Beatriz Busaniche y Alexia Halvorsen del área de comunicación y se dedican en Fundación Vía Libre a analizar la intersección entre derechos humanos y tecnología.)
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 283
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Durante el 2021, llevamos adelante una serie de conversaciones que tratan la relación entre ética e lA desde distintos puntos de vista y que pre- tenden contribuir al objetivo de analizar críticamente las tecnologías que atraviesan nuestra vida, sin perder de vista que la capacidad de desarro- llarlas e implementarlas. El enfoque de estas conversaciones consistió en la búsqueda de la diversidad de voces presentes en esta área, desde el sur y con una perspectiva feminista por ser crítica, multidisciplinar y por poner en el escenario a distintos tipos de minorías en lA: mujeres, argentines, colombianes, inmigrantes y personas con formación en humanidades.
A lo largo del 2022, estamos trabajando en el desarrollo del proyecto “Diagnóstico y mitigación de sesgos desde América Latina en procesa- miento de lenguaje natural” en el marco del programa de investigación de la <A+> Alliance.
En esta publicación desarrollaremos brevemente cada una de las conversaciones y expondremos los puntos claves de debate, discusión y conflicto que emergieron en cada una de ellas. Pretendemos que este resumen colabore en la construcción de una agenda de investigación-
acción en inteligencia artificial elaborada desde Latinoamérica.
¿A dónde entra la ética en el desarrollo de lA?: Luciana Benotti,
Laura Ación y Laura Alonso Alemany
En esta conversación inicial, tres integrantes de nuestro grupo de- batieron sobre el lugar de la ética en el desarrollo de tecnología. Luciana Benotti es Doctora en Informática del Instituto Francés de Investigación en
Informática y Automatización e investigadora en CONICET sobre tecno-
Inteligencia Artificial Feminista 284 Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
logías para sistemas de diálogo y sus interacciones con aspectos sociales y contextuales. Laura Ación es doctora en estadística de la Universidad de lowa en EEUU e investigadora del CONICET en el Instituto de Cálculo de la Universidad de Buenos Aires. Trabaja en investigación con datos de salud desde 1999. Laura Alonso Alemany es doctora en lingúística, profesora en la Universidad de Córdoba y trabaja en aplicaciones de procesamiento del lenguaje natural usando aprendizaje automático.
Uno de los principios que se establecieron fue la idea de que la tec- nología no es neutral y los desarrolladores deben estar sensibilizados sobre los posibles impactos sociales de lo que desarrollan. La falta de sensibiliza- ción actual podría relacionarse con que gran parte de las carreras de desa- rrollo de software, históricamente, no incluían ética entre sus materias.
Por ética se refirieron a tres principios fundamentales: 1. Respeto por las personas, los animales y el medio ambiente y su autonomía; 2. Justicia, es decir tratar a las personas de manera justa, equitativa y digna; 3. Bie- nestar de quienes participan directa e indirectamente de desarrollos de lA.
Para poder integrar la ética a la actividad informática hay que desa- rrollar contenidos curriculares locales y atender a los escenarios locales con ejemplos ligados a la disciplina. “Estamos muy acostumbrados a copiarnos currícula de otros países para materias técnicas [...] pero en este tipo de cosas necesitamos material desarrollado acá” comentó Luciana Benotti.
Otro punto relevante fue la importancia de incluir diferentes perspec- tivas en el ciclo de vida del software, además de métricas y herramientas que ayuden a reducir los impactos sociales negativos. No se puede reducir
la responsabilidad ética únicamente a los valores personales y aparecen los
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 285
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
financiadores, quienes toman gran parte de las decisiones condicionantes y los Estados, que pueden incidir no solamente como sancionadores sino a través de programas de incentivos.
Sobre el cierre, las entrevistadas concluyen que muchos de los pro- blemas éticos no son nuevos y el enfoque debe ponerse en aprender de y dialogar con otras áreas. Este punto abre la puerta al resto de las conver-
saciones que llevamos adelante durante el ciclo.
Regulación de inteligencia_artificial desde Argentina: Vanina_Marti- nez, Sofia Scaserra, Enrique Chaparro y Beatríz Busaniche
Vanina Martinez es doctora en Ciencias de la Computación, investi- gadora del CONICET y coordinadora de Ciencia de Datos e Inteligencia Artificial en la Fundación Sadosky. Sofía Scaserra es economista especia- lista en comercio internacional. Se desempeña como docente e investiga- dora del Instituto del Mundo del Trabajo (Universidad Nacional de Tres de Febrero, UNTREF). Enrique Chaparro es matemático e integrante de la Fundación de Vía Libre donde estudia hace años los impactos sociales de las tecnologías.
Un primer problema es que el objeto de lo que queremos regular está mal definido. “Para poder establecer los límites es necesario determinar aquello que estamos limitando” enfatiza Enrique Chaparro. Esto se complica además por la transversalidad en la que se aplica la inteligencia artificial.
Otro punto de debate es la soberanía de los Estados. En este punto surge la idea de que debe haber una normativa de arquitectura digital y
este es un debate que falta a nivel nacional. Desde Argentina uno de los
Inteligencia Artificial Feminista 286 Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
marcos que tenemos disponibles para aplicar es la Ley de Protección de Datos personales la cual es, a su vez, anacrónica. Ante estos interrogantes los Estados deben fortalecerse. Por otro lado, hay debates que están sal- dados por derechos existentes, solo se tienen que hacer cumplir. Como pueden ser los derechos laborales.
Ante la pregunta de qué es lo más urgente se mencionan algunos aspectos que efectivamente es necesario una moratoria como pueden ser el reconocimiento facial y las armas autónomas. Más allá de estos ejemplos, la conversación derivó en que es necesario pedir transparencia en todo el proceso y velar por el proceso democrático.
A modo de cierre quienes integran la mesa concluyen en que la ética es un buen punto de partida, pero es necesaria la regulación para hacer
prácticos estos principios. Es un problema político.
¿Cuáles son las preguntas necesarias sobre el rol de la lA en nues- tras vidas? — Tomás Balmaceda y Diana Pérez
Laura Ación entabla una conversación con Tomás Balmaceda y Diana Pérez, doctores en filosofía que forman parte del Grupo de Inteligen- cia artificial, Filosofía y Tecnología (GIFT). Este grupo viene profundizando en diferentes miradas sobre “cómo la tecnología afecta nuestra forma de ser humanos o humanas sobre la tierra, nuestras formas de desarrollarnos y de dar sentido a nuestras vidas”. Así abre Diana la conversación, contán- donos cómo la filosofía nos provee de dimensión histórica, diferencias transculturales y experimentos mentales como herramientas para entender
aspectos complejos de la relación entre la tecnología y las personas.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 287
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
En la charla se hace un recorrido por diferentes tipos de artefactos tecnológicos a lo largo de la historia y cómo esos cambios tecnológicos han producido cambios sociales y en nuestra forma de vida y, en ese sentido, la Inteligencia Artificial puede suponer una revolución como lo supuso la Revolución Industrial, aunque es difícil en este momento dimensionar su magnitud. En cualquier caso, señalan una cuestión fundamental: las apro- ximaciones basadas en aprendizaje automático, que identifican y repiten patrones, no parecen exactamente una herramienta para el cambio, sino más bien para la consolidación del statu quo.
Los filósofos nos comparten reflexiones sobre el proceso de traducir situaciones complejas de la vida real a lenguaje matemático, para poder trabajar con algoritmos. En este trabajo de traducción se pierden matices y eso ya es un indicador de que no podemos confiar en que el resultado sea objetivo. Dice Diana que “es una ilusión pensar que porque hay algo formal, lógico o matemático al medio todas nuestras acciones humanas alrededor de eso lógico-matemático que tenemos delante nuestro resulta objetivo y neutral”, porque sigue habiendo decisiones y valoraciones humanas involu- cradas.
Sobre el problema de los sesgos en inteligencia artificial, Tomás propone desbancar el concepto de que algo sea intrínsecamente bueno. Plantea en cambio una conversación sobre los valores comprometidos en los desarrollos con inteligencia artificial. Esta gran conversación tiene que incorporar perspectivas diversas: distintas generaciones, distintas orienta- ciones, distintas identidades, distintas formas de comprender el mundo,
distintos lugares que tienen las personas frente al mundo.
Inteligencia Artificial Feminista 288 Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Inteligencia Artificial Abierta - Matthias Gallé y Pedro Ortíz Suárez
En esta entrevista realizada por Luciana Benotti, Matthias Gallé y Pedro Ortíz Suárez nos cuentan del proyecto Big Science para hacer más accesibles algunos modelos muy grandes de inteligencia artificial. Matthias Gallé dirige varios equipos de investigación en Francia, en un centro de in- vestigación de una empresa coreana. Pedro Ortíz es máster en matemáti- cas en la Universidad de Aix-Marseille en Francia. Actualmente es doctorante en tercer año de tesis en Sorbonne Université y en el INRIA. Pedro investiga aplicaciones de aprendizaje automático a las ciencias hu- manas y Matthias investiga sobre grandes modelos neuronales para enten- der mejor su comportamiento.
A medida que la carrera por quién tiene el modelo más preciso se intensifica, cada vez es necesario más poder de cómputo para poder si- quiera hacer uso de estas tecnologías. Como consecuencia, quienes desa- rrollan estos modelos son unas pocas (y cada vez menos) empresas privadas que pueden permitirse el hardware necesario. Ninguno de estos modelos es accesible. Si bien muchos de estos modelos son de “código abierto”, la gran mayoría de instituciones no puede acceder al hardware necesario para utilizarlos e inspeccionarlos para entender mejor su com- portamiento.
Mediante la iniciativa Big Science se consiguió el poder de cómputo necesario para entrenar un modelo para varios idiomas y dejarlo abierto para que se pueda acceder, analizar y estudiar. Aproximadamente 800 in- vestigadores y científicos de 45 países de todo el mundo participan en este
proyecto de forma altruista. El área de Inteligencia Artificial es muy compe-
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 289
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
titiva, pero el modelo colaborativo permite cosas que no son factibles en el modelo competitivo. Por ejemplo, tener personas de todos los continentes y países facilita contactar instituciones, bibliotecas, distintas organizaciones en diferentes países para obtener datos de calidad.
Otro de los objetivos del proyecto es la recolección, filtrado y selec- ción de datos de texto de calidad, inspeccionados por personas con diver- sas perspectivas, formaciones y sesgos. “Los modelos van y vienen, lo que quedan son los datos”. Cuando los modelos se entrenan con datos sin cu- rar suelen filtrarse contenido que termina siendo reproducido por el modelo: racismo, sexismo, violencia, homofobia.
A modo de conclusión, la sociedad civil puede alentar y promover la diversidad en el mundo digital y, por otro lado, mantener el espíritu crítico: no dudar en hacer preguntas, no dejar de quejarse, no asumir que porque
la computadora lo dijo no hay nada más que hacer.
Una visión crítica de la inteligencia artificial para el bien - Sasha Luccioni
En esta entrevista Luciana Benotti entrevista a Sasha Luccioni. Sas- ha es investigadora en IA en Canadá con formación en ciencias cognitivas y ha colaborado con la UNESCO en proyectos que intentan combatir la de- sinformación. El objetivo de esta entrevista es dar una visión crítica sobre la IA para el bien. A continuación describimos tres aportes de la entrevista: definir IA para el bien, ilustrar lo contraproducente que puede ser, y discutir
aspectos a tener en cuenta al intentar hacerla.
Inteligencia Artificial Feminista 290 Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Desde la perspectiva de Sasha, la lA para el bien es un movimiento y también un área de investigación que toma aplicaciones de la lA como tra- ducción automática o clasificación automática de textos y las usa para benefi- ciar a la sociedad. Hay personas que argumentan que algunas empresas desarrollan proyectos bajo este slogan desde el área de relaciones públicas para conseguir un lavado de imagen de la lA que usan estas empresas y de las empresas mismas.
La inteligencia artificial para el bien se aplica en áreas relacionadas con los derechos humanos, como la salud, la educación y la pobreza. Por ejemplo, Inglaterra desarrolló una herramienta de lA para predecir las califica- ciones de los estudiantes durante la pandemia. El modelo resultó sesgado en contra de las escuelas pobres. La intención fue evitar que los estudiantes tu- vieran que hacer un examen en la pandemia, pero con buenas intenciones no alcanza para hacer lA para el bien.
La entrevista concluye con preguntas a tener en cuenta antes de iniciar un proyecto que se supone que usa lA para el bien: ¿Quién define el proble- ma a ser abordado? ¿Se incluye a diversas personas que serán afectadas por la tecnología? ¿Cuáles son las limitaciones de los datos? ¿Qué métricas ser- virán para medir progreso? ¿Quién va a tomar la decisión en base a las pre- dicciones? Según Sasha, estas preguntas deben hacerse y rehacerse antes de empezar y durante el proyecto por un equipo diverso que incluya a repre- sentantes de las especialidades y roles relevantes para el proyecto, siguiendo el espíritu de la frase “nada sobre nosotres sin nosotres”. Es fácil subestimar el esfuerzo de este tipo de proyecto y esa es una de las razones por las cuá-
les más de un proyecto de lA para el bien, no hace bien, concluye Sasha.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 29 1
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
La industria del software ante el surgimiento de la ética en lA
En esta charla Matías Bordone conversa con el Licenciado en Cien- cias de la Computación Pablo Zivic y el Doctor en Matemáticas Leandro Lombardi, científicos de datos de dos empresas importantes en Argentina y Latinoamérica.
En los últimos 15 años la definición de ciencia de datos ha evolucio- nado desde un mero análisis de datos offline hasta productos que adquie- ren datos en tiempo real y toman decisiones de manera directa. Los llamados sesgos de los sistemas de inteligencia artificial, la reproducción de estereotipos y prejuicios, es algo que comienza a estar en boca de los de- sarrolladores dentro de la industria. Ante la pregunta tácita de por qué en- contramos sesgos en los productos, los entrevistados opinan que puede considerarse que el “intento de desarrollo técnico” le haya ganado a lo que debería ser un desarrollo cuidado de productos. Muchas empresas se dejan llevar por la idea que si algo es técnicamente posible, se haga. Los entre- vistados opinan que si el modelo funciona peor con ciertos grupos sociales que con otros, no es un buen producto.
Otro punto clave es que los desarrolladores y demás responsables del ciclo de producción de software se pregunten qué desean del produc- to. Esto lleva a los programadores a preguntarse cuál es la función que uno optimiza ¿Queremos optimizar la cantidad de clicks que hace la gente aun a costa de someter a las personas a emociones fuertes como la ira? Quizás podemos optimizar otra cosa, opinan los entrevistados, por ejem-
plo “el bienestar”.
Inteligencia Artificial Feminista 292 Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Si nos preguntamos qué incentivos tiene la industria en el uso de datos hay que distinguir entre las empresas que hacen productos propios, que están regulados únicamente por los marcos legales existentes, y las empresas que desarrollan para terceros. Estas se ven interpeladas por los clientes, que comienzan a ser conscientes de estas problemáticas que to- davía no están reguladas de forma específica. De manera general, en todas las empresas otro incentivo puede ser no “hacer un papelón” en la prensa, sumándole que de acá a un tiempo esos papelones van a tener conse- cuencias legales.
Termina la entrevista con la pregunta sobre qué se puede hacer. Desde la industria se puede comenzar a inspeccionar sistemáticamente sesgos en los modelos de datos. Una parte importante es incorporar diver- sidad dentro de los equipos de desarrollo, que puedan ver diferentes ses- gos. Además, pensar una profesionalización del área, considerando que la dimensión ética es parte del rendimiento del sistema, es decir, si tu modelo discrimina, es un mal modelo.
A modo de cierre, encontramos algunos puntos en común en estas seis charlas. Por un lado, identificamos la necesidad de entender que la tecnología no es neutral y que a raíz de ello más que generar un cambio termina consolidando un status quo. Esto deriva en la importancia de la di- versidad de perspectivas dentro de los equipos de desarrollo y de la con- textualización regional. Por otro lado, identificamos la necesidad del fortalecimiento de los estados, la demanda de transparencia, el debate y la
participación como otro punto en común entre varias de las conversaciones.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 293
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
Desde Fundación Vía Libre entendemos que la incorporación de tecnologías no puede ser un camino lineal y acrítico, romántico y tecnofíili- co, sino que cada abordaje debe ser respetuoso de los derechos de las personas involucradas, especialmente cuando se trate de derechos huma-
nos fundamentales.
Inteligencia Artificial Feminista 294
Hacia una agenda de investigación en América Latina y el Caribe
Iniciativas desde la sociedad civil para la sensibilización en temas de ética en inteligencia artificial
REFERENCIAS
Fundación Vía Libre. (Septiembre, 2021). ¿A dónde entra la ética en el desarrollo de 14?. YouTube. https://youtu.be/x1jE0Orc-geE
Fundación Vía Libre. (Septiembre, 2021). ¿Cuáles son las preguntas necesarias sobre el rol de la IA en nuestras vidas?. YouTube. https://youtu.be/QJJKAPXUmkI
Fundación Vía Libre. (Septiembre, 2021). Mesa redonda: Hablemos de regulación de la IA. YouTube. https://youtu.be/2DzFpmOsXX4
Fundación Vía Libre. (Diciembre, 2021). Inteligencia Artificial Abierta. YouTube. https://youtu.be/elWHOg-q7xM
Fundación Vía Libre. (Diciembre, 2021). La industria del software ante la emergencia de la ética en IA. YouTube. https: //youtu.be/Gz-s_6MSDXE
Fundación Vía Libre. (Diciembre, 2021). Inteligencia artificial para el bien ¿de quién? / Who benefits from Al for Good?. YouTube. https://youtu.be/TYaoiLVE3vY
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 295
296
Otras Iniciativas y proyectos
Inteligencia Artificial Feminista a de investigación en América Latina y el Caribe
<A+> Alliance https://aplusalliance.org/
Feminist Al https://feministai.pubpub.org/
Not My Al https://notmy.ai/
Data Feminism https://data-feminism.mitpress.mit.edu/
Design Justice https://design-justice.pubpub.org/
Design Justice Network Principles https://designjustice.org/read-the-principles
Red Tierra Común https://www,tierracomun.net/
Non-Aligned Technologies Movement https://nonalignedtech.net/ Radical Al https: //radicalai.net/work
Queer in Al https://www.queerinai.com
Latinx in Al https://www.latinxinai.org/
Indigenous Al https: //www.indigenous-ai.net/
A new Al Lexicon https://medium.com/a-new-ai-lexicon
Parables of Al
https: //datasociety.net/events/parables-of-ai-in-from-the-global-south/ Histories of Al: A genealogy of power https://www.ai.hps.cam.ac.uk/ The Oracle for Transfeminist Technologies
https: //www.transfeministech.codingrights.orq/
Papa Reo https://papareo.nz/
Al Sur https://www.alsur.lat/
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 297
Autoras
Aarathi Krishnan es asesora de Prospectiva Estratégica en PNUD, becaria de tecnología y derechos humanos en Harvard Kennedy Carr Center y afiliada del Berkman Klein Center for Internet 8 Society de la Universidad de Harvard.
Abbijae Nevers es coordinadora de proyectos Tl en Bl Brainz, Jamaica.
AJung Moon es una roboticista experimental y directora del laboratorio de Ética de Sistemas Inteligentes y Autonomía Responsable (RAISE) en la McGill University, Canadá.
Alexia Halvorsen es investigadora en la Fundación Vía Libre.
Angie Abdilla es integrante del Consejo del Futuro Global sobre Inteligencia Artificial para la Humanidad en el Foro Económico Mundial.
Beatriz Busaniche es docente en la Universidad de Buenos Aires y en FLACSO y Presidenta de la Fundación Vía Libre.
Caitlin Kraft-Buchman es CEO y fundadora de Women at the Table y co- fundadora de <A+> Alliance.
Carlos Affonso Souza es director del Instituto de Tecnología y Sociedad de Río de Janeiro (ITS Rio) e integrante del Comité Ejecutivo de la Red Global de Centros de Investigación de Internet y Sociedad (NoC).
Chelle Adamson es la directora de operaciones del Gran Desafío Humanising Machine Intelligence (HMI) en la Universidad Nacional de Australia.
Chennel Williams es analista de datos en Bl Brainz, Jamaica.
Clarissa Guevara es abogada y consultora especializada en género y políticas públicas.
Data Género - Observatorio de Datos con Perspectiva de Género es una asociación civil de Argentina.
Inteligencia Artificial Feminista 298 Hacia una agenda de investigación en América Latina y el Caribe
Autoras
Eileen M. Lach es consejera general y directora de cumplimiento en JEEE.
Farah Ghazal es becaria del Social Sciences and Humanities Research Council (SSHRC) de Canadá en el Centro de Acceso al Conocimiento para el Desarrollo de la Escuela de Negocios en The American University of Cairo, Egipto.
La Fundación Karisma es una organización de la sociedad civil con sede en Bogotá, Colombia, que busca responder a las amenazas y oportunidades que plantea la “tecnología para el desarrollo” al ejercicio de los derechos humanos.
La Fundación Vía Libre es una organización civil sin fines de lucro nacida en el año 2000 en la ciudad de Córdoba, Argentina, que promueve y defiende derechos fundamentales en entornos mediados por tecnologías de información y comunicación.
Ivana Feldfeber es directora ejecutiva en Data Género e investigadora en el Center for Al and Digital Policy (CAIDP).
Ivonne Muñoz es directora de IT Lawyers SC | IT Lawyer y asesora de ciberseguridad.
Jaime Gutiérrez Alfaro es profesor en el Instituto Tecnológico de Costa Rica y co-fundador de <A+> Alliance.
Jennifer Taylor es vicepresidenta de Asuntos Laborales e Industriales de Estados Unidos en la Consumer Technology Association (CTA).
Jessica Fjeld es profesora de derecho y subdirectora de la Clínica de Derecho Cibernético en el Berkman Klein Center for Internet 8 Society de la Universidad de Harvard.
Joan López es investigador y asesor de política en el Instituto de Derecho, Tecnología y Sociedad de Tilburg (TILT) en el proyecto Global Data Justice e integrante de la Fundación Karisma de Colombia.
John C. Havens es director ejecutivo del Consejo de Inteligencia Extendida y de la Iniciativa Global IEEE sobre Ética de Sistemas Autónomos e Inteligentes.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 299
Autoras
Juliana Guerra es socióloga y magíster en Estudios Culturales de la Universidad Nacional de Colombia y miembro de Derechos Digitales desde 2016.
Kruskaya Hidalgo Cordero es investigadora, activista feminista y una de las fundadora del Observatorio de Plataformas (Ecuador), colectivo que cuestiona las condiciones laborales y vulneraciones a la vida dentro de las economías de plataforma.
Laura Ación es investigadora adjunta del CONICET en el Instituto de Cálculo de la Universidad de Buenos Aires e integrante de la Fundación Vía Libre.
Laura Alonso Alemany es profesora e investigadora en la Facultad de Matemática, Astronomía, Física y Computación de la Universidad Nacional de Córdoba (UNC), integrante del Grupo de Procesamiento de Lenguaje Natural y parte del equipo de la Fundación Vía Libre.
Laura Castro es investigadora feminista e integrante de la Fundación Karisma de Colombia.
Lucía González es investigadora en la Fundación Vía Libre.
Luciana Benotti es la primera directora latinoamericana de la North American Association in Computational Linguistics (NAACL). Es profesora asociada de la Universidad Nacional de Córdoba e integrante de la Fundación Vía Libre.
Malavika Jayaram es la directora ejecutiva del Digital Asia Hub, un grupo de investigación independiente incubado por el Berkman Klein Center for Internet 8 Society de la Universidad de Harvard.
Marianela Ciolfi Felice es profesora asistente en Diseño de Interacción en el Royal Institute of Technology - KTH y miembro del centro de investigación transdisciplinar Digital Futures, en Suecia.
Mariel Zasso es coordinadora del hub de América Latina y el Caribe de la
red f<a+i>r.
Inteligencia Artificial Feminista 300 Hacia una agenda de investigación en América Latina y el Caribe
Autoras
Matías Bordone es integrante del Departamento de Enseñanza de las Tecnologías Digitales, Programación y Robótica del Instituto Superior de Estudios Pedagógicos de Córdoba y de la Fundación Vía Libre y uno de los organizadores del Flisol Córdoba.
Monique Morrow fue CEO en Cisco entre 2012 y 2016 y en la actualidad es presidenta y cofundadora de Humanized Internet, organización sin fines de lucro activa en la protección de las identidades digitales de las poblaciones subrepresentadas.
Nagla Rizk es profesora de economía y directora fundadora del Centro de Acceso al Conocimiento para el Desarrollo (A2K4D) en la Escuela de Negocios, The American University of Cairo, Egipto.
Norma Elva Chávez es directora del laboratorio de Dispositivos Lógicos Programables en el Departamento de Computación en la Facultad de Ingeniería de la Universidad Nacional Autónoma de México (UNAM) y co-directora del Laboratorio de Innovación Cívica.
Paola Ricaurte es profesora asociada del Departamento de Medios y Cultura Digital del Tecnológico de Monterrey, investigadora asociada del Berkman Klein for Internet € Society de la Universidad de Harvard y líder del hub de América Latina y El Caribe de la red f<a+i¡>r.
Rachel Adams es la investigadora principal de Research ICT Africa, donde dirige el Al4D Africa Just Al Centre, es la líder del proyecto del Observatorio africano sobre lA responsable (Al4D) y es la investigadora principal del Índice global sobre lA responsable.
Raja Chatila es presidente de la Iniciativa Global IEEE para Consideraciones Éticas en Inteligencia Artificial y Sistemas Autónomos y director del Instituto de Sistemas Inteligentes y Robótica (ISIR) y del Laboratorio de Excelencia “SMART” en la Sorbonne Université Campus Pierre et Marie Curie.
Raquel Seville es CEO de Bl Brainz y profesora adjunta de ciencia de datos aplicada en la University of the West Indies, en Mona, Jamaica.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 30 1
Autoras
Ravit Dotan es una investigadora postdoctoral en el Centro de Filosofía de la Ciencia de la University of Pittsburgh con un proyecto sobre cómo incentivar financieramente el desarrollo ético de la lA.
Raziye Buse Cetin es investigadora y consultora independiente sobre ética y políticas de lA.
Sabelo Mhlambi es el fundador de Bantucracy, una organización de interés público que se enfoca sobre la ética y la tecnológica desde la perspectiva ubuntu. Es afiliado del Berkman Klein Center for Internet 8 Society y del Carr Center for Human Rights Policy, de la Universidad de Harvard.
Saiph Savage es profesora en la Universidad de Northeastern, en la Facultad de Ciencias de la Computación, donde dirige el Laboratorio de Inteligencia Artificial Cívica.
Sara Jordan fue investigadora principal en inteligencia artificial y ética en el Foro sobre el Futuro de la Privacidad y es integrante activa de la Iniciativa Global IEEE sobre Ética para Sistemas Autónomos e Inteligentes.
Sarita Rosenstock es investigadora posdoctoral en la Australian National University en el Proyecto Humanising Machine Intelligence.
Sofía Scasserra es directora del Observatorio de Impactos Sociales de Inteligencia Artificial-UNTREF, Argentina, e investigadora asociada del Transnational Institute.
Sofía Trejo es profesora de la Maestría en Ciencia de Datos del Instituto Tecnológico Autónomo de México (ITAM) e integrante del Consejo Consultivo del Instituto Federal de Comunicaciones (IFT) de México.
Soraj Hongladaron es profesor titular en el Departamento de Filosofía y director del Centro de Ciencia, Tecnología y Sociedad de la Universidad de Chulalongkorn, en Tailandia. Es el líder del hub del Sudeste de Asia de la red
f<a+i>r.
Inteligencia Artificial Feminista 302 Hacia una agenda de investigación en América Latina y el Caribe
Autoras
Tajééw Díaz Robles forma parte del colectivo Colmix y es maestra en antropología social. Actualmente coordina el proyecto Endless Oaxaca Multilingue.
Tatiana Revilla es coordinadora del Programa de Transversalización de Género de la Escuela de Gobierno y Transformación Pública del Tecnológico de Monterrey, México.
Virginia Brussa es docente e investigadora en la Universidad Nacional de Rosario y en la Universidad Nacional de Rafaela, en Argentina.
Wanda Muñoz Jaime es consultora en inclusión, género y asistencia a sobrevivientes de violencia e integrante de la Red Seguridad Humana en América Latina y el Caribe (SEHLAC) y de la Alianza Global sobre Inteligencia Artificial.
Yasnaya Elena Aguilar Gil es linguista, escritora, traductora, activista de derechos linguísticos e investigadora mixe. Forma parte de COLMIX, un colectivo de jóvenes mixes que realiza actividades de investigación y difusión de la lengua, historia y cultura mixe.
Yasmin Quiroga es abogada especialista en género y coordinadora del area de Poder Judicial en el observatorio Data Género.
Inteligencia Artificial Feminista Hacia una agenda de investigación en América Latina y el Caribe 303